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(57) Abstract 

The invention relates to a method for preparing an automatic, contactless and 
non-destructive testing of surfaces (1, 2, 3, 4; 1*, 3*) of an object to be tested, whereby 
said surfaces arc not perpendicularly aligned with regard to an optical axis (100). The 
inventive method uses at least one sensor array (A, B; A, Bl; Aj) in order to extract, 
from at least one first relative position of the sensor array and of the object (20) to 
be tested, an item of photometric information (Figure 5a) concerning a first surface 
(3) located on the object (20) to be tested and of a corresponding item of geometric 
information (Figure 5b) also concerning said surface (3). The method consists of the 
following steps: (a) recording image data of at least one section of the object (20) 
using at least one first optical sensor array (A, B; Bl, A), whereby at least one of 
the regions (3) of the test object comprises at least one unaligned surface whose span 
extends in a manner which is not substantially perpendicular to an optical axis (100) 
of the sensor array, and; (b) executing a local filtering of image data within the one 
surface of at least one region (3) in an essentially uniform raster (21) by forming a 
multitude of raster areas (30, 31,33) in the surface or in the image data of the surface 
which are smaller than the surface. 

(57) Zusammenfassung 
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Die Erfindung betrifft ein Verfahren zur Vorbereitung einer automatischen, * 
bertmrungslosen und zerstorungsfreien PrQfung von nicht senkrecht zu einer optischen 
Achse (100) ausgerichteten Oberflachen (1, 2, 3, 4; 1*, 3*) eines zu prufenden Gegenstandes mittels zumindest einer Sensoranordnung (A, 
B; A, Bl; AO zur Gewinnung einer photometrischen Information (Figur 5a) einer ersten Oberfiache (3) und einer dazu korrespondierenden 
geometrischen Information (Hgur 5b) dieser Oberfiache (3) an dem zu prOfenden Gegenstand (20) aus zumindest einer ersten Relativposition 
von Sensoranordnung und zu prOfendem Gegenstand (20). Das Verfahren umfaBt dabei mehrere Verfahrensschritte: (a) Aufzeichnen von 
Bilddaten zumindst eines Ausschnitts des Objekts (20) fiber zumindest eine erste optische Sensoranordnung (A, B; Bl, A), wobei zumindest 
eine der Regionen (3) des PrQfobjektes zumindest eine nicht ausgerichtete Oberfiache besitet, deren Erstreckung nicht im wesentlichen 
senkrecht zu einer optischen Achse (100) der Sensoranordnung ausgerichtet veriauft; und (b) Durchfuhren einer lokalen Filterung der 
Bilddaten innerhalb der einen Oberfiache der zumindest einen Region (3) in einem im wesentlichen gleichm&Bigen Raster (21) durch 
Bildung einer Vielzahl von gegenttber der Oberfiache kleineren Rasterbereichen (30, 31, 33) in der Oberfiache bzw. den Bilddaten der 
Oberfiache. 
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Bildbearbeitung zur Vorbereitung einer Texturanalyse 

Im Gebiet der industriellen Qualitatssicherung sind optische Prufmethoden wichtige und 
bewahrte Verfahren zur Sicherstellung einer gleichbleibenden Qualitat im 

5 Produktionsprozefi. Durch den standig steigenden Kosten- und Konkurrenzdruck 
entsteht die Notwendigkeit, Verfahren zur Qualitatskontrolle zu automatisieren. 
Ermoglicht und begunstigt wird dies einerseits durch die zunehmende Verfugbarkeit 
von problemspezifischen Sensorkomponenten und andererseits durch eine 
uberproportional wachsende Rechenleistung, womit auch Standardrechner 

io anspruchsvolle Prufaufgaben bewaltigen konnen. 

Automatisierte Bildverarbeitungssysteme lassen sich so einsetzen, dad 
Produktionsprozesse luckenlos uberwacht und fehlerhafte Teile fruhzeitig aus der 
Produktionslinie entfernt werden konnen. Damit werden die Kosten fur die 
is Weiterverarbeitung defekter Teile, wie es bei einer reinen Endkontrolle der Fall ware, 
eingespart. AufJerdem gewahrleisten maschinelle Prufsysteme Objektivitat im 
Gegensatz zur subjektiven Beurteilung durch Prufpersonal. Mit weiter sinkenden 
Kosten fur Hard- und Software amortisieren sich automatische Prufsysteme in kurzer 
Zeit. 

20 

Wahrend in der Vergangenheit Systeme zur Priifung von flachen Werkstucken und 
ebenen Oberflachen zur industriellen Reife entwickelt wurden, ist die Prufung von 
dreidimensionalen Formen und Freiformflachen noch Gegenstand aktueller Forschung. 

~s Freiformflachen, d.h. Oberflachen mit beliebigen Krummungsradien und Ausrichtungen, 
konnen mit bisherigen Verfahren nur unter stark eingeschrankten Randbedingungen 
gepriift werden. Ein wesentlicher Aspekt bei der Bildaufnahme ist hierbei, daft die 
Oberflache aufgrund der Krummung oder durch Verkippung gegenuber der optischen 
Achse der Sensoranordnung in verschiedenen Skalierungen auf den Bilddaten der 

30 optischen Sensoranordnung abgebildet wird. Damit sind existierende 

Auswerteverfahren fur ebene Flachen nicht unmittelbar anwendbar. Zusatzlich bedingt 
die raumliche Auspragung und die unterschiedliche Oberflachenbeschaffenheiten 
derartiger Werkstucke Beleuchtungseffekte (z.B. Glanzstellen, kontrastarme Bereiche, 
diffuse Reflexion, ...), die nachtraglich korrigiert werden mussen, um eine quantitative 

35 Vergleichbarkeit der zu prtifenden Flachenstucke zu ermoglichen. 

Bisher bekannte Verfahren konnen diese Anforderungen nicht vollstandig erfullen. 
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Aufgabe ist es deshalb, ein Verfahren vorzuschlagen, mit dem Bilddaten von nicht 
senkrecht zur optischen Achse ausgerichteten Flachenstucken (LF. auch 
"Oberflachen") bearbeitet und so aufbereitet werden konnen, dad eine sich 
anschliefiende automatisierte quantitative Vergleichbarkeit moglich wird. 

5 

Vorgeschlagen wird dazu ein Verfahren zur Vorbereitung einer automatischen visuellen 
Prufung von Freiformflachen, d.h. Flachen unterschiedlicher raumlicher Orientierung 
und Krummung. Die Datenaufnahme erfolgt hierbei mit zumindest einer 
Sensoranordnung, die photometrische Information (Grauwert-/Farbbild) und 
jo korrespondierende Tiefeninformation (3D-Datensatze) als Bilddaten liefert (Anspruch 1, 
Anspruch 5). 

Es werden mehrere Verfahrensschritte angewendet zur Auswahl der interessierenden { ) 
Bildbereiche (Regionensegmentierung), Ruckfuhrung der Freiformflachen in Ebenen 
is (geometrische Entzerrung, parametrisch und parametrisierungsfrei), Korrekturvon 

Beleuchtungseinflussen (Beleuchtungskompensation bzgl. Helligkeit und Kontrast) und 
Bewertung der hinsichtlich Geometrie und Beleuchtung korrigierten Flachen mit 
Verfahren der Texturanalyse, vgl. Anspruche 14, 17, 7 (und 8) bzw. 16 - in dieser 
Reihenfolge. 

20 

Das Prtifsystem kann eine oder mehrere Positioniereinheiten (z.B. ein Roboter oder 
eine Handhabungseinrichtung) beinhalten, auf welche optische Sensoren montiert 
werden, urn verschiedene Ansichten des zu priifenden Objekts, insbesondere 
Werkstucks zu erhalten. Alternativ oder zusatzlich kann das Prufobjekt selbst durch 
25 derartige Einheiten bewegt werden, um zusatzliche Freiheitsgrade bzgl. der 

Positionierung zu erreichen, vgl. DE 197 39 250 A1. Im Ergebnis ergeben sich mehrere ^ 
Relativpositionen (in Lage, Richtung und/oder raumlicher Anordnung) von Prufobjekt 
und Sensoranordnung (Anspruch 2, 3 und 4). 

30 Eine weitere, gesondert hervorzuhebende Komponente des Verfahrens ist die 
Kompensation der Beleuchtungseffekte, bestehend aus einer Angleichung der 
Hintergrundbeleuchtung und einer Kontrastanpassung, ohne die mit der Prufung zu 
ermittelnden Fehlstellen auf den Bilddaten der untersuchten Oberflachen zu 
verfalschen (Anspruch 21, 27, 24). 

35 

Zu einer Kantenfindung werden aus der Tiefenkarte zunachst die Normalenvektoren 
berechnet. Damit lassen sich den einzelnen Pixeln der Bildmatrix die entsprechenden 
Normalenvektoren zuordnen. Anschlieliend wird die Verkippung benachbarter 



tNSDOCID: <WO 



0063681A? \ > 



WO 00/63681 



3 



PCT/DE00/01228 



Normalenvektoren bestimmt. Das Kantenbild selbst erhalt man durch Binarisienjng der 
Verkippungsgroften fur jedes Pixel anhand eines applikationsspezifisch zu wahlenden 
Schwellwertes. 

Aufierdem kann eine Randbedingung zu beriicksichtigen sein, die von der 
Kompensation der Hintergrundbeleuchtung im Intensitatsbild herruhrt. Durch die dort 
angewendete Tiefpafifilterung verkleinert sich der auswertbare Bildbereich 
entsprechend der GrofJe des Filterkernels. Daher kann zusatzlich zur Binarisierung des 
Kantenbildes ein Rand um das gesamte Bild in der "Farbe" der Kanten gezogen 
werden. 

Die Kontrastveranderung in einem Rasterbereich (Anspruch 27) erfolgt nicht zwingend 
immer, sondern kann von einer Bedingung abhangig gemacht werden. Eine geeignete 
Bedingung ware der Vergleich des berechneten Veranderungsfaktors mit einer 
Konstanten, die im Bereich von Eins liegen kann (Anspruch 30). Mit einer solchen 
Schwellenwertentscheidung verhindert man, daft Oberflachendefekte, die im 
Intensitatsbild mit groliem Kontrast erscheinen, falschlicherweise an fehlerfreie 
Rasterbereiche angeglichen werden. Man geht dabei davon aus, dafi sehr helle oder 
sehr dunkle Rasterbereiche potentielle Fehler sind oder enthalten, so dafi vermieden 
werden sollte, solche Rasterbereiche im Kontrast auf eine Weise zu verandern, die ihre 
spatere Erkennung erschweren wurde. Der beschriebene Vergleichswert, mit dem der 
Veranderungsfaktor eines jeweiligen Rasterbereiches verglichen wird, kann empirisch 
oder experimentell festgelegt werden. Versuche haben gezeigt, dali er gunstig bei Eins 
liegt. Damit ist selbstverstandlich ein Bereich um Eins gemeint, also im wesentlichen 
Eins, nicht genau Eins. 

Es empfiehlt sich, die Grade der Rasterbereiche, auch "Fensterbereiche" genannt, so 
zu wahlen, dafi sie erheblich kleiner als der von ihnen gerasterte Flachenbereich, aber 
doch grolier als der grolite zu erwartende Oberflachendefekt (Fehlstelle) des zu 
prtifenden Objekts, bzw. in der Oberflache des zu prufenden Objektes ist. Es kann 
dann nicht vorkommen, dafc eine Fehlerstelle einen Rasterbereich vollstandig einnimmt 
und eine Kontrastdifferenz entsteht, die furdiesen Flachenbereich Null ist. Der fur die 
Bestimmung eines jeweils fur einen Rasterbereich geltenden Verstarkungsfaktors 
herangezogene Vergleichswert aus zwei Referenzparametern kann aus einem 
garantiert fehlerfreien Bildbereich oder anhand eines nicht mit Fehlstellen belegten 
Gutteiles ermittelt und als Vorwissen vorgegeben werden. Die Vorgabe zumindest einer 
Region in den photometrischen Bilddaten erfolgt gesteuert von den geometrischen 
Daten, respektive dem Tiefenbild, aus dem die Regionen durch Operationen wie 
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Interpolation, Kantenfilterung, Konturpunktverkettung und ggf. Maskierung ermittelt 
werden. 

Die am Ende der Verarbeitung stehende geometrische Entzerrung zur Darstellung der 
5 nicht ausgerichteten Oberflache in einer zweidimensionalen Darstellung arbeitet mit 
drei Eingangen. Ein Eingang stellt Steuerinformationen zur Herstellung eines an die 
raumliche Lage oder Form der Flache angepaliten Gitternetzes, insbesondere eines 
krummungsadaptiven Gitternetzes bereit, welche Adaption uber eine geglattete 
geometrische Information erfolgt, fur eine makroskopische Betrachtungsweise des 
io Werkstucks, hier des geometrisch zu entzerrenden Oberflachenstucks. Eine weitere 
Eingangsgrolie ist die maskierte Geometrie-lnformation zur Bereitstellung desjenigen 
nicht ausgerichteten (gekrummten oder schrag zur Achse liegenden) 

Oberflachenstucks. Die dritte EingangsgroUe liegt in der Bereitstellung der ") 
photometrischen Informationen, also der Helligkeitsinformation dieses 

is Oberflachenstucks. Alle drei Eingange bilden zusammen die Grundlage fur eine 
Darstellung des interessanten Oberflachenstucks in der fur eine Prufung und 
Bewertung geeigneten Weise, vgl. hierzu die Oberflachenstucke 1 ,2,3 und 4 aus 
Figur 8, jeweils randseits des zentralen Bildes, die plane (ebene) Darstellung der 
raumlich nicht ausgerichteten, gleichnamigen Oberflachenstucke in dem zentralen Bild 

20 der Figur 8 sind. In diesem Beispiel ist eine schrag zur Achse liegende Flache das 
Flachenstuck 1 und eine raumlich gekrummt verlaufende Flache das Flachenstuck 2 
oder 4. Alle diese Flachenstucke werden auf einer Ebene abgebildet, unter Beseitigung 
von Kontrast- und Helligkeitsstorungen, die im zentralen Bild der Figur 8 noch ohne 
weiteres ersichtlich sind, aber in den randseitig dargestellten Ausschnitten nicht mehr 

25 als storend zu erkennen sind. 

Die Kompensation der Beleuchtungseffekte (Anspruch 24) wird hinsichtlich der 
Angleichung der Hintergrundbeleuchtung (Shading-Korrektur oder 
Helligkeitsentzerrung) in der Regel uber das gesamte Bild gleichmaftig erfolgen. Eine 

30 Kontrastanpassung erfolgt dagegen Bildpunkt fur Bildpunkt, wobei in einer ublichen 
Vorgehensweise fur jeden Bildpunkt ein unterschiedlicher Koeffizient fur eine 
Steigungsanderung und der uber die Flache gleiche Parameter fur eine 
Parallelverschiebung des Helligkeitswertes an diesem Bildpunkt vorliegt, ggf. auch nur 
eine unterschiedliche Steigung fur jedes Pixel. Dieser Faktor ist fur jeden Bildpunkt bei 

35 bekannten Kontrastentzerrungen unterschiedlich. Gemad Anspruch 27 aber erfolgt die 
Kontrastanpassung nicht mit einem unterschiedlichen Koeffizient fur jeden Bildpunkt, 
sondern es werden Rasterbereiche gebildet, deren Erstreckung grolier ist als ein 
Bildpunkt und fur die im Rasterbereich liegenden mehreren, meist eine Vielzahl von 
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Bildpunkten wird ein fester Koeffizient bestimmt, der a!s Proportionalitatsfaktor fur alle 
Helligkeitswerte der Bildpunkte in diesem Bereich herangezogen wird. Fur den 
nachsten, einen benachbarten, folgenden Oder daneben liegenden, gleich groften 
Rasterbereich wird ein anderer Koeffizient bestimmt, der von all denjenigen Bildpunkten 
mitbestimmt wird, die sich in diesem Rasterbereich befinden (Anspruch 28). Auch hier 
erfolgt die Veranderung durch eine Multiplikation (Anspruch 29), aber eigenstandig fur 
eine ganze Gruppe von Bildpunkten im Rasterbereich (Anspruch 31). Die 
Kontrastanpassung erfolgt demgemafi bereichsweise mit konstanten Koeffizienten, 
wobei der Bereich ein Rasterbereich ist und jeder Rasterbereich im Rahmen eines 
aktuell hinsichtlich ihres Kontrastes beeinfluliten Oberflachenstucks eine gleiche Grofce 
besitzt, nur nicht in den Randabschnitten, wo aufgrund einer nicht gerade verlaufenden 
Begrenzung des bereichsweise im Kontrast beeinflufiten Oberflachenstucks (hier einer 
Region) Rasterbereiche entstehen, deren Erstreckung (Flache) kleiner ist. Diese 
Randabschnitten konnen aberebenso bearbeitet werden wie die ubrigen, gleich grofien 
Rasterbereiche. 

Es sollte angemerkt werden, dafi die Rasterbereiche auf dem planen Abbild (den 
Bilddaten bzw. der photometrischen Information) eine gleiche GroBe besitzen; bei einer 
schrag zur Achse oder gekrummt zur Achse der Sensoranordnung verlaufenden 
Region aber diese Rasterbereiche auf dem tatsachlichen Priifobjekt nicht zwingend ein 
gleiches Flachenstuck hinsichtlich des dortigen Oberflachensegmentes festlegen, das 
in dem Rasterbereich abgebildet wird. 
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Ausfuhrungsbeispiele und Funktionsuberlegungen erganzen und erlautern die 
Erfindung. 

Figur 1 veranschaulicht einen optoelektronischen Sensor A und eine 
5 Beleuchtungseinrichtung B, wobei der Sensor A photometrische Informationen, d.h. 
Grauwert- Oder Farbbilder eines Prufobjektes 20 erzeugt. Eine optische Achse 100 des 
Sensors A ist vorgegeben. 

Figur 2 veranschaulicht zwei Oder mehr optische Sensoren A 1f A 2f A< mit einer 
io gegebenen raumlichen Anordnung zur Gewinnung der photometrischen Information. 

Figur 3 veranschaulicht einen optischen Sensor A und ein scannendes, laser-basiertes 
3D-Mefisystem B, deren Bilddaten zu einer Datenaufnahme C (auch 55) ubertragen O 



Figur 4 veranschaulicht ein Blockschaltbild mit einer Vielzahl von Funktionen, die in 
einzelne Aste 49,50,51,52 aufgeteilt sind und in diesen jeweiligen Asten 
Funktionsblocke benennen, die im einzelnen erlautert werden. Die Datenaufnahme 55 
wird mit den Sensoranordnungen gemafi den Figuren 1, 2 Oder 3 bewerkstelligt und 
20 entspricht C von Figur 3. Die Bewertung 54 ist beispielsweise ein Texturverfahren zur 
Analyse der Oberflache und die geometrische Entzerrung 53 soli besonders 
hervorgehoben werden. Mit ihr werden Bilddaten zur Verfugung gestellt, die schwierig 
zu messende Oberflachen von Werkstucken so darstellen, dali die Bewertung 54 mit 
einfachen 2D-Verfahren erfolgen kann. 



Figur 5a veranschaulicht ein Werkstuck 20, hier eine Kurbelwelle, die eine Vielzahl von 
Oberflachenstucken 1,2,3,4,1*13* aufweist, die in einer schragen Stellung bezogen auf 
die optische Achse 100 des abbildenden Sensors zu liegen kommen, gleichzeitig sind 
starke Helligkeits- und Kontrastunterschiede zu erkennen. 

30 

Figur 5b veranschaulicht eine Tiefenkarte von der Kurbelwelle 20. 

Figur 6 veranschaulicht herausgegriffen aus Figur 8 und dort hinsichtlich des 
Flachenbereichs 3 mit einem Raster 21 versehen, einzelne Fensterabschnitte, die mit 
35 30, 31 und 33 im Beispiel bezeichnet sind. 

Figur 6a ist die Kurbelwelle nach einer Shading-Korrektur 52b, wodurch eine 
Helligkeitskorrektur durchgefuhrt wird. 



werden. 



25 
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Figur 6b ist die Kurbelwelle nach einer Kontrastangleichung 52c, folgend auf die 
Helligkeitskorrektur von Figur 6a. 

5 Figur 7a veranschaulicht eine Normalenvektor-Darstellung (mehrfarbig, hier nur 
schwarz/weifi dargestellt), bei der jedem Pixel ein Normalenvektor zugeordnet ist. 

Figur 7b veranschaulicht die Kurbelwelle 20 von Figur 5a mit Regionensegmentierung. 

io Figur 8 veranschaulicht entzerrte Regionen 1,2,3,4, die auch gesondert neben dem 
Bild dargestellt werden, bezogen auf die Kurbelwelle 20. Das Flachenstiick 3 (am 
unteren Bildrand der Figur) ist in der Figur 6 gesondert herausgestellt. Die nicht 
sichtbaren Regionen 1* und 3* auf der Ruckseite der Regionen 1,3 entsprechen der 
Lage in Figur 5a. 

15 

Das Gesamtverfahren zur Prufung eines Werkstucks ist in Figur 4 schematisch 
dargestellt. Ausgangspunkt sind durch eine optische Sensoranordnung von Figuren 1 
bis 3 gewonnene Intensitats- und Tiefenbilder aus der Datenaufnahme 55. Beispiele 
solcher Bilddaten sind in Figur 5a bzw. 5b gezeigt. Einerseits werden die Tiefendaten 

20 im Pfad 50 bei 50b geglattet, um eine makroskopische Betrachtungsweise der 

Werkstuckoberflachen zu erhalten, andererseits dient die Tiefenkarte im Pfad 51 der 
Extraktion und Zuordnung 51c,51d von abgeschlossenen Flachenstucken nach 
vorheriger Filterung 51a, 51b von (dreidimensional ausgepragten) Kanten. Parallel dazu 
wird das korrespondierende Intensitatsbild im Pfad 52 bezuglich der Beleuchtung bei 

^ 52b,52c korrigiert. Anschliefiend erfolgt die regionenbezogene Entzerrung 53 und 
Bewertung 54 der einzelnen Flachenbereiche. Zur Bewertung 54 der sowohl 
geometrisch als auch hinsichtlich der Beleuchtung entzerrten Flachenstucke kommen 
Verfahren zur Texturanalyse fur Problemstellungen mit "zweidimensionaler" 
Charakteristik zum Einsatz. 

30 

Zur Erzeugung der Eingangsbilddaten fur das vorgeschlagene Verfahren konnen 
beispielsweise die im Folgenden beschriebenen Sensoranordnungen dienen. 

Die Sensoranordnung in Figur 1 besteht aus den Komponenten optoelektronischer 
35 Sensor A, z.B. CCD-Kamera, einer geeigneten, steuerbaren 

Beleuchtungseinrichtung B, z.B. ein Streifenprojektor, die in einer bekannten, festen, 
raumlichen Beziehung zueinander stehen sowie einer Steuer- und Auswerteeinheit C 
(oder 55), mit der Sensor und Beleuchtung verbunden sind. Der optoelektronische 
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Sensor (A) dient dabei der Erfassung von photometrischen Informationen, d.h. der 
Grauwert- oder Farbbilder, wie Figur 5a zeigt. Gleichzeitig kann der Sensor (A) 
zusammen mit der Beleuchtung (B) und der Steuereinheit (C) einen 3D-Sensor nach 
dem Triangulations-Prinzip bilden, z.B. durch Auswertung von Bild- und 
5 Projektionssequenzen nach Verfahren wie "Phasenshift", "Coded-Light" oder "Moire". 

Altemativ ist in Figur 2 auch die Kombination von zwei oder mehr optoelektronischen 
Sensoren A h z.B. CCD-Kameras, in bekannter raumlicher Anordnung denkbar, die zur 
Gewinnung der photometrischen Information dienen und wobei die korrespondierende 
io geometrische Information (3D Tiefenbild) durch Auswertung mehrerer photometrischer 
Bilder der verschiedenen Sensoren Aj durch passive Stereoverfahren erzielt wird. 

Ebenso ist eine Anordnung nach Figur 3 moglich, bei der photometrische und ^ 
geometrische Information durch getrennte Sensoren erfaflt wird, z.B. eine CCD-Kamera 
15 (A) und ein scannendes, laser-basiertes 3D-MefJsystem B1 nach dem Laufeeit-Prinzip. 

Weitere Sensoranordnungen, die aus dem Stand der Technik bekannt sind, konnen 
ebenfalls eingesetzt werden, wenn sie sich dazu eignen, ein Tiefenbild und ein dazu 
raumlich korrespondierendes Intensitatsbild, also photometrische und geometrische 

20 Informationen bereitzustellen, die entweder sequentiell aufgezeichnet werden, oder 

gleichzeitig so aufgezeichnet werden, dali die dann vorhandenen Bilddaten miteinander 
korrespondieren. Die Korrespondenz bedeutet eine pixelgenaue Zuordnung dieser 
beiden Bilddaten, wobei auch die Tiefeninformation als Bilddaten angesehen werden. 
Beispiele von Sensoranordnungen zur Gewinnung von Tiefenbildem sind aus dem 

25 Stand der Technik bekannt 1 . 

' , ~* 

Die Realisierung der Sensoranordnung fur die korrespondierende, sequentielle 
Erfassung von photometrischer und geometrischer Information kann so durch 
geschickte Nutzung der beschriebenen optischen Komponenten erreicht werden. 
30 Ausgegangen werden soil deshalb fur die weitere Bildbearbeitung von zwei Beispielen 
von Bilddaten. Ein Beispiel findet sich in Figur 5a als Intensitatsbild mit spezifisch 
herausgezeichneten Flachenbereichen 1,2,3,4 sowie im Bild nicht sichtbaren 
Flachenbereichen 1*,3*, die ruckwartige Flachen sind, die aus dem gezeigten Blickfeld 
der Sensoranordnung nicht sichtbar sind, aber bei einer Relativbewegung zu einer 
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zweiten Relativposition von Sensor und Prufstuck sichtbar werden. Eine dazu 
korrespondierende Bildinformation findet sich in Figur 5b als Tiefenkarte. Diese 
Tiefenkarte ist hier dargestellt durch unterschiedliche Helligkeitswerte, stellt aber keine 
unterschiedlichen Helligkeiten, sondern unterschiedliche Abstande von dem Sensor, 

5 beispielsweise B1 in Figur 3 dar. Die Abstandsmafte sind in einer vertikalen Legende 
zwischen 283,9 mm und 166,9 mm dargestellt; je dunkler das Bild, desto weiter entfernt 
ist der korrespondierende Bildpunkt auf den sichtbaren Flachenbereichen. Die 
Flachenbereiche 1 bis 4 von Figur 5a konnen ohne weiteres durch pixelgenaues 
Obereinanderlegen der Bilder identifiziert werden, so daft sie in Figur 5b nicht 

io gesondert eingezeichnet sind. Die so gebildeten beiden Eingangsbilder, die 

Intensitatsinformation und die Tiefeninformation, finden sich identifiziert in der Figur 4 
uber die Eingangspfade 49 und 52, die aus der Datenaufnahme zu einerseits der 
Interpolation 50a und andererseits der Shading-Korrektur 52b fuhren. 

is Die Datenaufnahme C entspricht der Steuer- und Auswerteeinheit C, die entsprechend 
den angeschlossenen Sensoren bzw. Beleuchtung und Sensoren als nur 
Aufnahmeeinheit, nur Auswerteeinheit oder Steuer- und Auswerteeinheit ausgebildet 
ist. Das von ihr bereitgestellte Intensitatsbild gemaft Figur 5a und Tiefenbild gemaft 
Figur 5b entstammt dem schematisch in Figur 1 eingezeichneten Werkstuck 20, dessen 

20 Achse mit 101 bezeichnet ist und gegenuber der optischen Achse 100 des Sensors A 
eine Relativlage besitzt. Diese Achse 101 ist in den Bildern 5a und 5b von rechts nach 
schrag hinten links in die Papierebene orientiert zu denken, auch wenn sie als solches 
nicht eingezeichnet ist. 

~* Bevor ein Verfahren zur Oberflachenbildbearbeitung mit den gemaft Figur 3 
gewonnenen Bilddaten ausgefuhrt werden kann, erfolgt zur Erzielung 
korrespondierender Bilddaten aus raumlich nicht identisch angeordneten Sensoren 
eine Koordinatentransfonmation, welche die Meftdaten des 3D-Meftsystems B1 anhand 
der bekannten Relativpositionen beider Systeme auf das Koordinatensystem der CCD- 

30 Kamera A abbildet. 

Die zuvor bereits angesprochene Figur 4 soli Ausgangspunkt einer Beschreibung des 
Verfahrens sein, wobei die dort eingezeichneten einzelnen Pfade 49, 50, 51, 52 als 
Anhaltspunkt und Leitfaden fur die folgende Beschreibung dienen sollen. Kurz skizziert 
35 ist das Endprodukt gemaft Figur 8 das Ausgangsbild aus der geometrischen 

Entzerrung 53, welches Ausgangsbild durch eine zweidimensionale Methode der 
Oberflachenprufung oder -analyse bewertet wird. Ausgangspunkt sind die Bilddaten der 
Geometrieinformation und der photometrischen Information aus den zuvor 
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beschriebenen Sensoranordnungen, die in die Pfade 49 (Geometrieinformation) und 52 
(photometrische Information) geleitet werden. In der Geometrie werden nach einer 
Interpolation 50a zwei weitere Pfade beschritten, ein Pfad 50 mit einer Glattung 50b 
und ein paralleler Pfad 51, bei dem eine "Segmentierung" vorgenommen wird, die im 
5 folgenden detailliert erlautert ist. Diese beiden Pfade stellen zwei Eingangswerte der 
erwahnten geometrischen Entzerrung 53 bereit, namentlich Steuerinformation zur 
Anpassung eines Gitternetzes und maskierte Geometrieinformation zur Definition eines 
nicht ausgerichteten Oberflachenstucks, das geometrisch entzerrt werden soil. Diesem 
Oberflachenstuck entspricht eine Helligkeitsinformation als photometrische Information, 
io die im rechten Pfad 52 bearbeitet wird, durch eine Helligkeitskorrektur 52b und eine 
Kontrastveranderung 52c. 

In dem Blockschaltbild wird links die Tiefenkarte gemafi Figur 5b und rechts das 
Intensitatsbild gemad Figur 5a verarbeitet. An einigen Stellen im Blockschaltbild ist auf 

15 Figuren verwiesen, die die entsprechenden Bilddarstellungen der Figur 5a nach der 
jeweiligen Bearbeitung zeigen, so die Figuren 7a, 7b in der Segmentierung des Pfades 
51 , das bereits erwahnte Ausgangsbild der Figur 8 mit den geometrisch entzerrten 
Flachenstucken 1,2,3 und 4, sowie die beiden Helligkeitsbilder der Figuren 6a und 6b 
nach der Helligkeitsanpassung und nach der Kontrastbearbeitung. Letzteres Bild der 

20 Figur 6b ist das Eingangsbild mit der Helligkeitsinformation, die durch die geometrische 
Entzerrung in eine raumlich ebene (plane) Lage gebracht wird und entspricht 
beispielsweise dem Flachenstuck 3 aus Figur 8, das selbst in der Figur 6 noch einmal 
wiedergegeben ist, wo seine Kontrastentzerrung naher erlautert ist. 

25 Zusatzlich zu den beschriebenen Pfaden bestehen auch drei Querkopplungen 52a, 62b 
und 62c, die am Ende der einzelnen Pfade kurz angesprochen werden. 
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A. Geometrieentzerrung 

Die Entzerrung von digitalen Bildern spielt im Bereich der Photogrammetrie eine grofte 
Rolle. Viele Anwendungen benotigen entzerrte Bilder, die unterdem Begriff 
5 "Orthophoto" zusammengefafit werden. Diese Orthophotos besitzen die volistandige 
Information des Ursprungsbildes, weisen aber die gleichen geometrischen 
Eigenschaften wie Karten auf. Mathematisch bedeutet die Erzeugung eines 
Othophotos die Umbildung von einer zentralperspektivischen Abbildung auf eine 
Parallelprojektion. 

10 

Typische Anwendungen von Orthophotos sind Landkarten, die aus Satellitenbildern 
berechnet werden, oder die Architekturphotogrammetrie mit dem Ziel der 
Denkmalpflege und der Dokumentation historischer Bauwerke. Die Generierung 
digitaler Orthophotos basiert auf einer Koordinatentransformation zwischen 
is Ursprungsbild (Aufnahme der Kamera) und Zielbild (Orthophoto) unter der 

Voraussetzung einer analytischen Beschreibung der Oberflachengeometrie und gehort 
damit zur Klasse der parametrischen bzw. modellbasierten Verfahren. 

Alternativ kann zur Generierung von Orthophotos auch eine nichtparametrische 
20 Vorgehensweise gewahlt werden, wobei aber nur bei ebenen Flachen gute Resultate 
zu erwarten sind. Fur die Berechnung der Orthophotos werden dabei digitale 
Flachenmodelle zusammengesetzt. 

In beiden Fallen kommen Interpolationsverfahren (z.B. "nachster Nachbar", bilinear, 
^ bikubisch) zum Einsatz, da die Koordinatentransformation nicht notwendigerweise die 
Mittelpunkte der Pixel von Ursprungs- oder Zielbild trifft. 

Eine andere Moglichkeit zur Entzerrung beruht auf der Annahme einer geringen, lokal 
vernachlassigbaren Oberflachenkrummung. Das zu untersuchende 
30 Oberflachensegment wird durch drei helle Laserpunkte markiert und mit der Kenntnis 
der Kalibrationsparameter der drei Laser und der Kamera in eine sog. Normalebene 
rucktransformiert. In dieser Normalebene erfolgt die weitere Auswertung mittels 
Texturanalyse. Dieser Ansatz beschreibt eine lokale Naherung, allerdings mit dem 
Vorteil, dad keine analytische Beschreibung der Oberflache vorliegen muB. 
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B. Beieuchtungskorrektur 

Zur Oberflachenprufung werden die Auswirkungen der aktuellen 
Beleuchtungsanordnung berucksichtigt. Die Positionen von Lichtquellen bezuglich des 
zu beleuchtenden Objekts und bezuglich der Karnera haben gravierenden Einflufc auf 
die auswertbaren Oberflacheneigenschaften. So kann die Richtung von 
Beleuchtungseinheiten die im Sensor erkennbare Vorzugsrichtung von Texturen 
mafigeblich bestimmen 2 . Die Beleuchtungsrichtung wirkt dabei als richtungsabhangiger 
Filter, was fur nachfolgende Texturauswertungen von beeinflussender Bedeutung ist. 
Entsprechendes gilt auch fur den Einfall von Fremdlicht. 

Die Konzeptionierung der Beieuchtung erfolgt dabei ublicherweise mit dem Vorwissen 
uber zu erwartende Eigenschaften der auszuwertenden Oberflachen. Das Erstellen der 
optimalen Beleuchtungskonfiguration gestaltet sich problemlos, wenn ebene 
Oberflachen mit einer statischen Anordnung von Sensoren und Lichtquellen beleuchtet 
werden. In derartigen Fallen genugt eine einmalige Justierung, um gleichbleibende 
Qualitat im AuswertungsprozefJ zu gewahrleisten. Hierbei wahlt man oftmals 
Tlutbeleuchtung", um eine gleichmafcige Helligkeit uber einen grofien Flachenbereich 
zu erzielen. 

Deutlich schwieriger ist die Auswahl einer geeigneten Beieuchtung fur gekrtimmte oder 
schief zur optischen Achse liegenden Oberflachen, vor allem dann, wenn die statische 
Aufnahmesituation verlassen wird und nacheinander Aufnahmen aus verschiedenen 
raumlichen Blickwinkeln (von unterschiedlichen Orten aus) erfolgen. 

Ein zusatzliches Problem sind dabei die Reflexionseigenschaften der Oberflachen, 
wobei in einer einzelnen Aufnahme durchaus stark glanzende Bereiche direkt neben 
matten und rein diffus streuenden Flachen zu sehen sein konnen. 

Die Bildqualitat von Aufnahmen ungleichmaliig ausgeleuchteter Flachen lalit sich 
mittels einer sog. Shading-Korrektur verbessern. Dabei wird von der Originalaufnahme 
das tiefpaflgefilterte Originalbild subtrahiert und anschliefiend zum Grauwert jedes 
Pixels ein konstanter Offset addiert. Die Grolie des Tiefpadfi Iters richtet sich nach der 
GroRe der Oberflachenstrukturen im Kamerabild. 



Chantler, Why illuminant direction is fundamental to texture analysis, 1EE Proc.-Vis. 
image Signal Processing, Vol. 142, No. 4, August 1995. 



<WO 0063681A2J_> 



WO 00/63681 o 3 PCT/DE00/01228 

Die Shading-Korrektur eignet sich sehr gut zur Verbesserung von Aufnahmen diffus 
reflektierender Flachen. AuBerdem ist keine Kenntnis von Beleuchtungs- Oder 
Kameraposition notig. Allerdings lassen sich mit diesem Verfahren gerichtete 
Reflexionen nur in stark begrenztem Umfang kompensieren. Je ausgepragter direkte 
5 Reflexionen ausfallen, um so geringer ist der Verbesserungseffekt, bedingt durch die 
Fensterung mit dem Tiefpafikernel. Zusatzlich bewirkt die Tiefpafcfilterung - je nach 
Grofte des TiefpafJkernels - eine Verkleinerung des auswertbaren Bildbereichs. 

Zur Kompensation von gerichteten Reflexionen bzw. zur Trennung von gerichteten und 
10 diffusen Reflexionen gibt es eine Reihe von Verfahren, die bei unterschiedlichen 
Voraussetzungen angewendet werden konnen. 

Ausgangspunkt eines Verfahrens zur Detektion von gerichteten Reflexionen in 
Grauwertbildern ist in eine Lambertsche Oberflache, d.h. eine Flache, die von alien 
15 Blickwinkeln aus gleichmaftig hell erscheint. Direkte Reflexionen werden dadurch 
erkannt, dad das angenommene Lambertsche Abstrahlungsverhalten durch rapide 
Helligkeitsanderungen im Grauwertbild verletzt wird. 

Die Erfassung von Reflexionseigenschaften mit Intensitatsbild und Tiefenkarte beruht 
20 auf einem physikalischen Reflexionsmodell, mit dessen Hilfe Beleuchtungsrichtung und 
Reflexionsparameter iterativ angenahert werden. Weitere Voraussetzungen sind 
einerseits parallel einfallende Lichtstrahlen, was durch entsprechend grofte Entfernung 
der Lichtquellen vom Untersuchungsobjekt erreicht wird, und andererseits ein grofter 
Abstand des bildaufnehmenden Sensors vom Objekt, modelliert durch Vorschalten 
zs eines telezentrischen Objektivs. Moglich sind mit diesem Vorgehen in ihrer Helligkeit 
korrigierte Intensitatsbilder. 

Auch Farbe und Polarisation werden zur Separierung von direkten Reflexionen 
angewendet. Durch die Verknupfung von Farb- und Polarisationsinformation werden fur 
30 jeden Bildpunkt Bedingungen fur die Reflexionskomponenten aufgestellt. Aus der 

Anwendung dieser Randbedingungen auf jeweils benachbarte Bildpunkte ermittelt man 
die Parameter der diffusen Reflexion. 

Active-Vision-Systeme nutzen die Szenenbeleuchtung als einen wahrend des 
35 Arbeitsablaufs zu bestimmenden und zu optimierenden Parameter. Ziel ist es hierbei, 
Bildeigenschaften wie Punkte, Kanten oder Texturen hervorzuheben, um 
Szeneninterpretation und Objekterkennung zu verbessem. 
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lm Hinblick auf Anwendungen zur visuellen Oberflacheninspektion wurden Verfahren 
entwickelt, die Robot Vision mit Active Vision kombinieren. Aufgrund der aus einem 
CAD-Modell gewonnenen Daten eines Prtifobjekts wird ein Prtifplan erstellt, der 
einzelne Sensorpositionen und die dazugehorigen Blickwinkel beschreibt. 
5 Abschliefiend erfolgt eine Optimierung des Prufplans hinsichtlich einer minimalen 
zurtickzulegenden Wegstrecke des optischen Sensors. 

Alternativ kann aus einem gegebenen CAD-Modell eine Sequenz von raumlichen 
Positionen fur einen generalisierten Sensor berechnet werden, von denen aus eine 

10 Inspektionsaufgabe optimal durchgefuhrt werden kann. Der generalisierte Sensor 
besteht aus einer oder mehreren physikalischen Aufnahmeeinheiten und kann 
Objekteigenschaften sowohl parallel (eine Sensorposition) als auch seriell auswerten 
(mehrere aufeinanderfolgende Sensorpositionen). Grundlage fur das Aufstellen der ^ 
Positionssequenz sind aus dem CAD-Modell gewonnene Sichtbarkeitsbereiche, in 

is denen angegebene Objekteigenschaften vom Sensor beobachtet werden konnen. 
Jedem dieser Bereiche werden die Parameter Sichtbarkeit und Zuverlassigkeit 
zugewiesen. Der eigentliche Prufplan erfolgt aus der Kombination der einzelnen 
Sichtbarkeitsbereiche mit Optimierungsalgorithmen. 

20 Ein weiteres System verwendet als zentralen Bestandteil eine Kamera mit 

programmierbarem Sensor und Motorzoom-Objektiv. Um verschiedene Blickwinkel 
anzusteuern, ist vor der Kamera ein schwenkbarer Spiegel angebracht. Die 
Bildauswertung erfolgt mit Verfahren der Fraktalanalyse sowie morphologischen 
Operatoren. Das System arbeitet adaptiv anhand der gewonnenen Bilddaten. Im ersten 

25 Schritt nimmt man die Oberflache mit niedrigster Zoom-Einstellung auf. Dadurch lassen 
sich mit wenigen Bilddaten grofce Oberflachenbereiche grab beurteilen. Sind potentielle 
Defekte aufzufinden, so werden im zweiten Schritt durch veranderte Zoom-Einstellung 
detailliertere Aufnahmen der betreffenden Regionen ausgewertet. Als konkrete 
Anwendung wird die Oberflachenprufung von betonierten Ziegeln angegeben. 
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C. Der hier dargestellte Losungsweg verwendet Tiefeninformation und 
Intensitatsinformation (photometrische und geometrische MefJdaten) aus den 
Pfaden 49, 52. Durch diesen multisensoriellen Ansatz stehen fur jeden Bildpunkt neben 
dern Grauwert (Helligkeit, Farbe) auch die raumlichen Koordinaten eines jeweiligen 
Oberflachenelements zur Verfugung. Mit derartigen Eingangsdaten konnen gekrummte 
oder schief zur optischen Achse orientierte Oberflachensegmente in eine plane Ebene 
transformiert werden. Dazu dient eine Geometrieentzermngs-Komponente, die ohne 
Parametrisierung, d.h. ohne Modellwissen uber die gekrummte Flache, die 
Ruckfuhrung in eine Ebene vornimmt. 

Eine weitere, gesondert hervorzuhebende Komponente des Verfahrens ist die 
Kompensation der Beleuchtungseffekte, bestehend aus einer Angleichung der 
Hintergrundbeleuchtung und einer Kontrastanpassung, ohne die mit der Priifung zu 
ermittelnden Fehlstellen auf den untersuchten Oberflachen zu verfalschen. 

Die geometrisch und hinsichtlich der Beleuchtung korrigierten Flachenstiicke (i.F. 
"Oberflachen") konnen anschliedend mit Verfahren der Texturanalyse bewertet und 
gepruft. Mit der Bezeichnung Textur" charakterisiert man die visuelle Erscheinung von 
Oberflachenstrukturen. Grundsatzlich unterscheidet man zwischen deterministischer 
Textur mit sich periodisch wiederholenden Texturelementen, und stochastischer Textur, 
welche keine gleichformigen Elemente besitzt, aber trotzdem ein einheitliches 
Erscheinungsbild bei makroskopischer Betrachtungsweise liefert. 

Aus anwendungsorientierter Sichtweise werden Texturanalyseverfahren eingesetzt, um 
Aussagen uber die Beschaffenheit und Qualitat von Oberflachen zu treffen. Es 
existieren zahlreiche Verfahren, die bei der Losung von Problemstellungen mit ebener, 
zweidimensionaler Charakteristik zum Einsatz kommen 3,4,5 Voraussetzungen fur eine 
erfolgreiche Anwendung dieser Verfahren zur Texturanalyse sind, dali die direkt 
untersuchten Oberflachen keine Kriimmung aufweisen und parallel zum CCD-Sensor 
der Inspektionskamera liegen. 
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Eine oftmals gestellte Forderung ist die vollstandige Prufung des vorliegenden 
Werkstucks. Da nicht alle Oberflachenelemente von einer Beobachtungsposition 
zuganglich sind, mussen verschiedene Blickwinkel angefahren werden. Dies wird mit 
5 Hilfe einer Verfahreinheit (z.B. Roboter) ermoglicht, die die Sensorik zur optischen 
Datenaufnahme tragt. 

Zur Datenaufnahme 55 werden ein oder mehrere Bildaufnahmesensoren (z.B. 
Zeilenkameras, Flachenkameras) und - bei Bedarf - eine oder mehrere 

io Beleuchtungskomponenten B eingesetzt (z.B. strukturierte bzw. unstrukturierte 

Beleuchtung). Aus den aufgenommenen Daten, z.B. einer Kurbelwelle gemali Figur 5a, 
erhalt man einerseits Intensitatsbilder (z.B. Grauwertbilder, Farbbilder) und andererseits 
Tiefenkarten (3D-Koordinaten, Forminformation) gemafi Figur 5b nach Auswertung von 
z.B. verschiedenen Ansichten mit Korrespondenzbestimmung (Stereosehen) oder 

15 Auswertung von projizierten Lichtmustern der Beleuchtungseinheiten (z.B. 

Triangulationsverfahren: einfacher Lichtschnitt, Codierter Lichtansatz, Phasenshifl, 
Moire, Lasertriangulation). 

Fur das weitere Vorgehen wird von einer Korrespondenz zwischen Intensitatsbild und 
20 Tiefenbild ("pixelgenau deckungsgleiches Tiefenbtld") ausgegangen. 

Da ublicherweise durch z.B. Meftfehler, lokale Gberbelichtungen usw. nicht zu alien 
Bildpunkten die 3D-Koordinaten gewonnen werden konnen, wird eine Interpolation 50a 
durchgefuhrt. Ausgehend vom aktuellen zu interpolierenden Pixel wird in alien vier 

25 Koordinatenrichtungen der nachste Stutzpunkt gesucht. Damit erhalt man im Idealfall 
vier Stutzpunkte, mit denen eine bilineare Interpolation durchgeftihrt werden kann. 
Diese Interpolation wird aufcerdem in Abhangigkeit vom entsprechenden Intensitatswert 
vorgenommen (Schwellwertentscheidung). Diese Schwellwertentscheidung anhand des 
Intensitatswertes hilft, unnotigen Rechenaufwand zu vermeiden. Insbesondere bei 

30 groBflachigen Bereichen, die nicht beleuchtet werden (z.B. Abschattungen) oder 

aulierhalb des Kalibriervolumens liegen (z.B. Bildhintergrund), sind keine Stutzstellen in 
der Nahe zum aktuellen Punkt aufzufinden. Durch zweckmaliige Wahl des 
Schwellwertes ist eine Anpassung auch an dunkle bzw. reflexionsarme Oberflachen 
moglich, 

35 

Sind keine Stutzstellen in der lokalen Umgebung des aktuellen Punktes aufzufinden, 
wird die entsprechende Koordinatenrichtung fur die Interpolation als ungultig 
ausmaskiert. Mefipunkte mit bekannten Tiefenwerten, die aber in grofiem Abstand zum 
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aktuellen Punkt liegen, wiirden durch die Interpolation die Oberflachengeometrie zu 
stark verfalschen. 

Durch eine weitere Schwellwertentscheidung - bezogen auf den raumlichen Abstand 
der Stutzstellen - wird das Verschleifen von Kanten vermieden. Die entsprechenden 
Pixel bleiben weiterhin ungiiltig und werden bei einer spateren Regionensegmentierung 
als Kante interpretiert. 

Segmentierung 

Die Aufgabe der Segmentierung im Pfad 51 von 51a bis 51 d (auch: 
Regionenzuordnung) ist die Einteilung des von dem Sensor aufgenommenen 
Intensitatsbildes in logisch zusammengehorende Bereiche, z.B. Flachenstucke 1,2,3,4 
in Figur 5a oder die sichtbaren Flachenstucke in Figur 7b, die gleichbleibende 
Bearbeitungsspuren aufweisen und mit einem unveranderten Parametersatz gepruft 
werden konnen. Dazu werden im ersten Schritt anhand der Tiefenwerte Kanten bei 51a 
extrahiert. Anschliefiend werden mit einem sog. Closing bei 51b aus den Kanten 
zusammenhangende Linien gebildet, so dafi abgeschlossene Flachenstucke bei 51c 
entstehen. Im letzten Schritt erfolgt die Generierung 51 d einer Maske, die durch 
eindeutige Kennzeichnung die Zugehorigkeit aller Pixel zu einer jeweiligen Region 
definiert Das folgende sind Teile der Segmentierung im Pfad 51 . 

Kantenfilterung 

Ziel der Kantenfilterung 51a ist es, raumliche Kanten, d.h. kleine Krummungsradien der 
Werkstuckoberflache, zu bestimmen. Diese Kanten stellen letztendlich die 
Berandungslinien derzu segmentierenden Flachenstucke dar. 

Konventionelle Verfahren zur Kantenfindung (z.B. Gradientenfilterfur Grauwertbilder) 
sind hier prinzipbedingt im Nachteil. Beispielsweise besitzen ebene Flachenstucke, die 
verkippt zum Sensor liegen, in der Grauwertdarstellung der Tiefenkarte einen 
Gradienten, obwohl keine Krummung vorliegt. Zudem sind Kanten des Werkstucks in 
der Grauwertdarstellung relativ schwach ausgepragt. Daher ist mit einem 
konventionellen Kantenfilter keine stabile Kantenextraktion gewahrleistet. 

Zur Kantenfindung werden aus der Tiefenkarte von Figur 5b zunachst die 
Normalenvektoren gemafi Figur 7a berechnet. Damit lassen sich den einzelnen Pixeln 
der Bildmatrix die entsprechenden Normalenvektoren zuordnen. Anschlieliend wird die 
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Verkippung benachbarter Normalenvektoren bestimmt. Ein Kantenbild selbst erhalt 
man durch Binarisierung der Verkippungsgrofien furjedes Pixel anhand eines 
applikationsspezifisch zu wahlenden Schwellwertes. 

5 Aufierdem kann eine Randbedingung zu berucksichtigen sein, die von der 

Kompensation der Hintergrundbeleuchtung im Intensitatsbild herruhrt. Durch die dort 
angewendete Tiefpaflfilterung verkleinert sich der auswertbare Bildbereich 
entsprechend der GrofJe des Filterkernels. Daher wird zusatzlich zur Binarisierung des 
Kantenbildes ein Rand um das gesamte Bild in der "Farbe" der Kanten gezogen. 

10 

Konturpunktverkettung 

Um evtl. auftretende Lucken in den Kantenlinien zu schlieften, kommen 
morphologische Operatoren zur Konturpunktverkettung 51b zum Einsatz. Dabei kann 
15 z.B. ein sog. Closing auf das binare Kantenbild aus dem vorherigen Arbeitsschritt 
angewendet werden. Das Closing besteht aus einer Dilation gefolgt von einer Erosion. 

Ausgangspunkt fur diese Operatoren ist die Definition von Strukturelementen, welche 
als Operatormasken in die Auswertung eingehen. Diese Masken werden pixelweise 

20 uber das Ursprungsbild geschoben. Fur die Erosion gilt, dafi im Ergebnisbild alle Pixel 
zu 1 gesetzt werden, wenn alle Pixel unterhalb des Strukturelements im Originalbild 
(hier das Kantenbild) den Wert 1 besitzen. Bei der Dilation wird das entsprechende 
Pixel im Zielbild zu 1 gesetzt, wenn sich mindestens ein Pixel im Originalbild unterhalb 
der Maske mit dem Wert 1 befindet Zu beachten ist, dafi es sich dabei um Binarbilder 

25 handelt, die definitionsgemafc nur die Werte 0 (Bildhintergrund) und 1 (Kantenlinie) 
annehmen konnen. Dies gilt sowohl fur die Eingangs- als auch fur die Ausgangsbilder. 

Regionenzuordnung 

30 Aus dem Binarbild mit den geschlossenen Kanten wird nun eine Maske fur die 
geometrische Entzerrung 53 erstellt. Mit der Maske sind die einzelnen 
abgeschlossenen Flachenbereiche eindeutig identifiziert. Dazu wird jedem Pixel eines 
geschlossenen Flachenstucks in der Maske der gleiche Zahlenwert zugeordnet, so dad 
mehrere anders numerierte Flachenstucke entstehen, wie Figur 7c zeigt. Diese Zahlen 

35 konnen auch unterschiedlichen Graustufen entsprechen, wobei mit 8 bit max. 255 

Flachenstucke zugeordnet werden konnen, wenn der maximale mogliche Grauwert fur 
die Kantendarstellung reserviert bleibt. In dieser Zuordnung ist die Figur 7c eine Maske 
zur eindeutigen Identifizierung von begrenzten Bildregionen im Gesamtbild. Es sind 
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mehrere verschiedene Grauwerte dargestellt, die den zugeordneten Zahlenwerten zur 
Identifizierung entsprechen und wobei jeweils ein Grauwert fur nur eine Region 
vorgesehen ist. 

Diese Regionenzuordnung 51c erfolgt durch ein sog. Labeling, das die 
Pixelkoordinaten zusammenhangender Gebiete liefert. Der Eingangsdatensatz fur 
diese Zuordnung entspricht also dem binaren Kantenbild aus dem vorangegangenen 
Bearbeitungsschritt. 

Beleuchtungskompensation 

Das aufgenommene Intensitatsbild enthalt von Beleuchtung und 
Oberflacheneigenschaften verursachte Effekte, die einer erfolgreichen Auswertung 
abtraglich sind. Mit zunehmendem Abstand von der Lichtquelle erscheinen die 
Flachenstucke dunkler und kontrastarmer. Dieser Effekt tritt auch dann auf, wenn die 
Oberflache relativ zum Sensor stark verkippt ist. Es hat sich also eine Korrektur sowohl 
der Helligkeit als auch des Kontrastes als vorteilhaft erwiesen, was im Pfad 52 
geschieht, parallel zu dem Pfad 51. Das folgende sind Elemente der 
Beleuchtungskompensation im Pfad 52. 

Shading -Korrektur 

Mit einer sog. Shading-Korrektur 52b erreicht man die Herstellung einer gleichmaliigen 
Grundhelligkeit uber das gesamte Bild, unabhangig von einzelnen segmentierten 
Regionen. Das Zielbild (das global, ohne Aufteilung in der Helligkeit veranderte Bild) 
besitzt einen Mittelwert, der dem halben maximal moglichen Intensitatswert entspricht, 
vgl. Figur 6a. 

Zur Durchfuhrung der Shading-Korrektur wendet man zunachst eine TiefpaBfilterung 
auf das Originalbild an. Dadurch erreicht man eine "Verschmierung" von 
hochfrequenten Bildanteilen (z.B. scharfe Konturen) und auch eine Verteilung von 
lokalen Beleuchtungseffekten auf einen grolieren Bildbereich 6 . 

AnschlieBend wird pixelweise die Differenz zwischen dem originalen und dem 
tiefpaligefilterten Intensitatsbild gebildet und ein konstanter Offset, der dem halben 
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maximal moglichen Intensitatswert entspricht, addiert. Im Fall von Grauwertbildern mit 
256 Graustufen benutzt man daher einen Offset von 128. 

Da nach der Ausfuhrung der pixelweisen Differenz die Intensitatswerte urn den Wert 
5 Null als Mittelwert schwanken, bringt man das Differenzbild durch die Addition des 
gewunschten Mittelwertes von 128 in eine leicht darstellbare und auswertbare Gestalt. 

Abhangig von der Grode der Filtermaske geht mit der Tiefpafifilterung des 
Intensitatsbildes eine Verkleinerung des auswertbaren Bildbereichs einher. Diese 
io Verkleinerung wird auch bei der Regionensegmentierung berticksichtigt, da ein 
zusatzlicher, nicht auswertbarer Bildbereich entsteht. 

Durch die Shading-Korrektur wird ein Bild mit einem im Mittel konstanten Intensitatswert 
generiert. Fur eine zuverlassige Auswertung von Oberflacheneigenschaften reicht dies 
is jedoch noch nicht aus, da sich Eigenheiten der untersuchten Flachenstucke auch im 
Kontrast widerspiegeln. Daher soli neben einer Korrektur der Grundhelligkeit auch eine 
Angleichung des Kontrastes vorgenommen werden. 

Kontrastangleichung 

20 

Im Gegensatz zur Shading-Korrektur 52b handelt es sich bei der 
Kontrastangleichung 52c um eine regionenbasierte Vorgehensweise, d.h. nur innerhalb 
einer jeweils abgeschlossenen Region werden Anderungen am Kontrast 
vorgenommen. Zusatzlich zum Intensitatsbild gemafl Figur 6a werden aus der 
25 Regionenmaske charakteristische Parameter uber die Regionen herangezogen, um in 
jeweils einer Region 1, 2 oder 3 von Figur 5a den Kontrast zu verandern. 

Die Realisierung der Kontrastangleichung erfolgt durch einen einzelne Fenster 
bildenden "lokalen Operator", den man abschnittsweise auf ein helligkeitskorrigiertes 
30 Bild aus dem vorherigen Abschnitt 52b anwendet, im Sinne einer "lokalen Filterung". 
Innerhalb eines gerade bearbeiteten Bildfensters werden ein maximaler und ein 
minimaler Intensitatswert g^ bzw. g^ n bestimmt. 

Dies erfolgt innerhalb eines jeweiligen Fensters mit vorab festgelegter Grofle, das 
35 anhand eines Vorwissens uber das aktuelle Werkstuck 20 an entsprechender Stelle der 
jeweiligen Bildregion plaziert wird. Die Referenzparameter (=Vorwissen) fur die 
Kontrastangleichung konnen aus einem garantiert fehlerfreien Bildbereich oder anhand 
eines Gutteils, entsprechend der Welle 20 ermittelt werden. 



JMSDOCID: <WO 



.006368 1A2_I_> 



WO 00/63681 



21 



PCT/DE00/01228 



Es wird ein Raster 21 als "lokaler Operator" uber die aktuelle Bildregion 3 geschoben, 
so dafi die einzelnen Fenster 30,31 ,33 des Rasters nebeneinander zu liegen kommen. 
In jedem Fenster bestimmt man maximalen und minimalen Intensitatswert und 
5 berechnet daraus einen Verstarkungsfaktor f^, f33, der dem Quotienten der beiden 
Kontrastdifferenzwerte "g" entspricht; vgl. hierzu die Figur 6 mit der dortigen 
Berechnung von f^, fur die Fenster 30 und 33. 

Falls der Verstarkungsfaktor f n mindestens den Wert 1 besitzt, werden alle 
io Intensitatswerte innerhalb des jeweiligen Fensters mit diesem multipliziert. Mit dieser 
Schwellwertentscheidung verhindert man, daft Oberflachendefekte, die im 
Intensitatsbild mit grofiem Kontrast erscheinen, unerwunscht an fehlerfreie Bildbereiche 
angeglichen werden. Es entsteht ein im Kontrast verbessertes Bild gemafi Figur 6b. 

15 Prufplan 

Sowohl die Positionen des Sensors zur Datenaufnahme als auch die momentan 
auszuwertenden Bildregionen richten sich nach dem aktuell vorliegenden 
Werkstuck 20. Anhand des Vorwissens wird also ein Prufplan erstellt werden, der die 
20 einzelnen Sensorpositionen und Blickrichtungen definiert. Dariiber hinaus verwendet 
man fur jede Ansicht des Werkstucks eine "Vergleichsmaske", um zwischen zu 
prtifenden und vernachlassigbaren Oberflachenbereichen zu unterscheiden. Jeder 
interessierenden Bildregion wird ein spezifischer Parametersatz zugeordnet, derz.B. 
Auflosung des entzerrten Bildes, Idealkontrast und geeignete Prufmerkmale festlegt. 

25 

Entzerrung 

Ziel einer Entzerrung 53 ist es, von gekrummten oder zum Sensor verkippten 
Flachenstucken eine zweidimensionale Representation zu generieren, welche mit 
30 existierenden und erprobten Verfahren 54 der Texturanalyse fur ebene Oberflachen 
quantitativ bewertet werden kann. 

Voraussetzungen fur eine erfolgreiche Anwendung dieser Verfahren zur Texturanalyse 
sind, dafi die untersuchten Oberflachen keine Krummung aufweisen und parallel zum 
35 CCD-Sensor der Inspektionskamera liegen. Das bedeutet, dafi in jedem Kamerapixel 
Oberflachensegmente gleicher GroBe gesehen werden. Die Oberflachen von 
Werkstucken mit starker dreidimensionaler Auspragung verletzen im allgemeinen die 
obigen Forderungen. In vielen Fallen muli eine Prufung beliebig geformter Oberflachen 
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(sog. Freiformflachen) durchgefuhrt werden, so dafi die raumliche Geometrie fur den 
Prufvorgang zu berucksichtigen ist. Durch die Entzerrung wird die geforderte 
Beziehung zwischen Pixel und Oberflachenelement wiederhergestellt. 

5 Der Entzerrungsalgorithmus 7 basiert auf der Berechnung eines Gitternetzes, das der 
Pixelmatrix uberlagert wird. Wie bereits erwahnt, ist es fur eine erfolgreiche Anwendung 
von Verfahren zur zweidimensionalen Texturanalyse notwendig, dafi die 
Oberflachenelemente, die in den Kamerapixeln gesehen werden, alle die gleiche Grade 
besitzen. Diese Eigenschaft wird durch die einzelnen Gitterelemente des Netzes 

io gewahrleistet. Es handelt sich also um Gitterelemente, die auf der 3D-Oberflache 
Flachenelemente konstanter raumlicher Ausdehnung beschreiben. 

Fur die Gitternetzberechnung ist keine analytische Beschreibung der ) 
Oberflachengeometrie notwendig. Es handelt sich hierbei um parametrisierungsfreies 

is Verfahren. Das Gitternetz adaptiert sich an die aktuelle Krummung der Oberflache und 
stellt keine Ebenenapproximation dar. Die einzelnen Gitterelemente werden durch 
Geradenstucke begrenzt, so dali jedes Element durch vier Linien bzw. durch vier 
Eckpunkte vollstandig charakterisiert ist. Durch diese Art der Berandung entsteht in 
abgewickelter Form ein Gitternetz mit Rechtecken, das eine regulare Struktur aufweist 

20 - analog zur Pixelmatrix eines CCD-Sensors. 

Jedem Gitterelement wird ein Intensitatswert zugewiesen, der sich unter 
Berticksichtigung der jeweiligen flachenhaften Ausdehnung aus denjenigen 
Intensitatswerten bestimmt, die unterhalb dieses Gitterelements im Kamerabild zu 
25 finden sind. Die Zuordnung des Intensitatswertes zu jedem Gitterelement erfolgt durch 
flachenabhangige Gewichtung der durch Pixelmatrix und Gitterlinien berandeten 
"Regionen" des Gitterelements, Summierung und anschliefcender Normierung mit der 
Gesamtfiache des Gitterelements. 
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Die Eingangsparameter fur die Entzerrung bestimmt man sowohl aus dem Vorwissen 
als auch aus der aktuellen Aufnahme. Anhand der bekannten Gestalt des Werkstucks 
legt man Auflosung und Ausrichtung (Winkel) des Gitters fest. Fur den Gittermittelpunkt 
wahlt man den Schwerpunkt des momentanen Flachenstucks. Eine Dimensionsangabe 
5 fur das entzerrte Bild ist nicht unbedingt erforderlich, da das Gitternetz bis zur 
Flachenberandung wachsen kann. 

Das die Entzerrung bewirkende Gitternetz wachst dabei z.B. vom Flachenschwerpunkt 
bis zum Rand des aktuellen Flachenstucks. Fur die oben beschriebene 

10 Entzerrungsstrategie sind dabei Erweiterungen sinnvoll, die ein „Umfahren M von 

Hindernissen innerhalb der Flachen zulassen. Die einzelnen Gitterpunkte werden dann 
nicht mehr ausschlielilich von der Gittergrundlinie ausgehend berechnet, sondern 
gegenseitig in Beziehung gesetzt, so dafl neue Gitterpunkte aus unmittelbar 
benachbarten generiert werden konnen — ahnlich wie ein Algorithmus zum Auffullen 

15 von Flachen mit einer bestimmten Farbe. 

AufJerdem kann das Gitternetz auch uber Kanten hinweg aufgezogen werden. Es wird 
also nicht gefordert, dali die untersuchte Oberflache „nur" gekriimmt (im Sinne eines 
grolien Krummungsradius) oder eben und verkippt ist. Somit kann das 
20 Entzerrungsverfahren leicht an spezielle Aufgabenstellungen angepafit werden. 

Glattung der Tiefendaten 

Als letzter Schritt vor der Entzerrung 53 wird im Pfad 50 eine Glattung 50b der 
25 Tiefendaten vorgenommen. Ziel dieser Filterung ist die Gewinnung einer 

makroskopischen Betrachtungsweise des Werkstucks. Durch die Glattung werden 
Oberflachenrauhigkeiten eliminiert, so dafi die Entzerrung auf der zugrundeliegenden 
Oberflachenform ansetzen kann. Die charakteristischen Eigenschaften der Oberflache 
(Textur, Defekte, ...) werden anhand des Intensitatsbildes ausgewertet, so dafi durch 
30 die Entzerrung die abbildungsbedingten Skalierungsunterschiede ausgeglichen 
werden, ohne Storungen von Oberflachen mit starker Porositat oder Kornigkeit 
einzubeziehen. 

Der Filteralgorithmus orientiert sich am konventionellen Mittelwertfilter fur 
35 Grauwertbilder. Die Anwendung erfolgt jedoch auf die Tiefenkarte nach Figur 5b, d.h. 
auf die kartesischen Koordinaten der einzelnen Oberflachenelemente, getrennt nach x-, 
y- und z-Komponenten. Die drei Datensatze fur die Koordinatenkomponenten werden 
also einzeln gefiltert. 



-DOCIO <:WO 



0063681AP ? > 



WO 00/63681 



PCT7DE00/01228 



Die Filtermaske wird pixelweise uber die Tiefenkarte geschoben. Fur den aktuell zu 
filternden Tiefenwert wird zunachst evaluiert, ob genugend definierte Tiefenwerte 
innerhalb der Filterfensters zur Verfugung stehen. 1st dies der Fall, so wird der aktuelle 
5 Tiefenwert durch Mittelung aller unter der Filtermaske liegenden Werte berechnet. 
Dieser Algorithmus wird jeweils auf die x-, y- und z-Komponente angewendet. Der zu 
filternde Tiefenwert selbst muft dabei nicht definiert sein. Das Verfahren bewirkt also 
zusatzlich eine weitere Interpolation. 

io Durch die Festlegung einer Mindestzahl von definierten Werten im Filterfenster wird 
dabei verhindert, daft getrennt voneinander zu behandelnde Flachenstucke 
"ineinanderwachsen" oder vormals undefinierte Bereiche unberechtigterweise mit 
Tiefendaten aufgefullt werden. 

15 Anwendbar sind aber auch andere Arten von Filterung, die eine Glattung bewirken, z.B. 
ein modifizierter Median-Filter. 

Die eingangs angesprochenen Querkopplungen mit den gestrichelten Pfaden 52a, 62b 
und 62c sollen kurz eriautert werden. Mit ihnen nimmt im Zuge des Gesamtverfahrens 
20 die photometrische Information einen EinflufJ auf die geometrische Information und 
anders herum. 

Die datentechnische Verbindung von der Helligkeitskorrektur 52b zu der 
Kantenfilterung 51a in dem Segmentierungspfad 51 hatfolgende Funktion. Durch die 
25 Helligkeitsbeeinflussung 52b verkleinert sich der auswertbare Bildbereich. Dieses wird 
mit einer Ausmaskierung des Randbereiches im Kantenbild berucksichtigt. 

Bereits zuvor, bevor die Helligkeitskorrektur durchgefuhrt wird, nimmt die 
photometrische Information uber Pfad 52a EinfluR auf die Interpolation 50a am Ende 

30 des Eingangspfades 49 der geometrischen Information. Die Interpolation dient der 
Erganzung von durch das Mefcverfahren nicht gewonnen Bildpunkten. In sehr dunklen 
Bereichen werden die Informationen des Intensitatsbildes des Pfades 52 verwendet, 
um eine Interpolationsrechnung an der entsprechenden Stelle der geometrischen 
Information im Pfad 49 (der Tiefenkarte) zu unterdrucken. Auch ohne Unterdriickung 

35 waren hier keine sinnvollen Ergebnisse bei der Interpolationsrechnung zu erwarten. 
Dieser Einflufi ist eine lokale Ausmaskierung oder Ausblendung von Tiefeninformation, 
gesteuert durch dunkle Stellen der Helligkeitsinformation, wobei daran erinnert wird, 
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daft eine im wesentiichen pixelgenaue Korrespondenz zwischen Tiefeninformation und 
Helligkeitsinformation besteht. 

Der Einflud 62c von den beiden Funktionsblocken Regionenzuordnung und 
Maskierung 51c, 51 d, die auch als eine gemeinsame Funktion aufgefafit werden 
konnen, beeinflufit die Kontrastveranderung 52c. Da die Kontrastangleichung 
individuell fur einzelne Regionen erfolgt, die jeweils gerastert bearbeitet werden, wird 
aus der Regionenzuordnung 51c, 51 d die entsprechende Regioneninformation 
bereitgestellt. 

Aus Figur 4 ist ersichtlich, dafi die Kontrastangleichung 52c vor der geometrischen 
Entzerrung 53 liegt, gleichwohl ware es denkbar und moglich, die Kontrastangleichung 
auch nach der Entzerrung 53 durchzufuhren, in derzuvor eingehend beschriebenen Art 
und Weise. 

* * * 
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Anspruche: 

1. Verfahren zur Vorbereitung einer automatischen, beruhrungslosen und 
zerstorungsfreien Priifung von nicht senkrecht zu einer optischen Achse (100) 
ausgerichteten Oberflachen (1 ,2,3,4; 1* f 3*) eines zu prufenden Gegenstandes 
mittels zumindest einer Sensoranordnung (A,B;A,B1 ;Aj) zur Gewinnung einer 
photometrischen Information (Figur 5a) einer ersten Oberflache (3) und einer 
dazu korrespondierenden geometrischen Information (Figur 5b) dieser 
Oberflache (3) an dem zu prufenden Gegenstand (20) aus zumindest einer 
ersten Relativposition von Sensoranordnung und zu prufendem 
Gegenstand (20). 

2. Verfahren nach Anspruch 1 , bei dem eine Aufnahme des Gegenstandes durch 
mehrere, aufeinanderfolgende Einzelmessungen von photometrischer und 
geometrischer Information erfolgt, wobei zwischen den Einzelmessungen eine 
Relativbewegung zwischen dem zu prufendem Gegenstand (20) und der 
zumindest einen Sensoranordnung erfolgt. 

3. Verfahren nach Anspruch 1 oder 2, mit einer Erfassung des Gegenstandes an 
zumindest einer weiteren Seite (3*,1*), die aus der mit der ersten 
Relativposition vorgegebenen Ansicht nicht erfafibar ist. 

4. Verfahren nach einem der voranstehenden Anspruche, bei dem zumindest eine 
weitere Relativposition des Gegenstandes (20) und des Sensors (A) von einer 
mechanischen Handhabungseinrichtung erzeugt und eingestellt wird, so daft 
zumindest eine weitere zu prufende Oberflache (1 ,2,3,4) erfaBt werden kann, 
insbesondere auch solche, die nicht oder nicht vollstandig aus der ersten 
Relativposition oder Lage sichtbar sind. 

5. Verfahren nach Anspruch 1 , bei dem die Geometrieinformation in einen festen 
Bezug zur photometrischen Information als Helligkeitsinformation gebracht 
wird. 

6. Verfahren nach 1 oder 5, wobei die Geometrieinformation zur Korrektur der 
photometrischen Information verwendet wird (50,50b,53). 

7. Verfahren nach Anspruch 1 oder 6, bei dem die Veranderung der 
photometrischen Information (52) durch eine sich uber das ganze Bild 
erstreckende Helligkeitsentzerrung (52b) erfolgt. 
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8. Verfahren nach Anspruch 1 oder 6, bei dem die Korrektur der photometrischen 
Information durch mehrere lokal begrenzte (30,31,33) Kontrastentzerrungen 
erfolgt. 

9. Verfahren nach Anspruch 6, bei dem eine zusatzliche Korrektur der 
photometrischen Information durch eine Farbentzerrung erfolgt (52). 

10. Verfahren nach Anspruch 1 , bei dem die photometrische Information durch eine 
geometrische Entzerrung als raumliche Lage- oder Richtungsveranderung 
erfolgt (53). 

11. Verfahren nach Anspruch 6, bei dem die Korrektur der photometrischen 
Information durch geometrische Entzerrung (53) mit Hilfe eines 
krummungsadaptiven Gitternetzes erfolgt, adaptiert von einer geglatteten (50b) 
geometrischen Information (50). 

12. Verfahren nach Anspruch 10, bei dem Punkte zur geometrischen Entzerrung 
mit einem krummungsadaptiven Gitternetz aufgrund von 
Nachbarschaftsbeziehungen berechnet werden (53). 

13. Verfahren nach Anspruch 1 oder 6, bei dem Regionen (1,2,3,4) im Bild mit Hilfe 
der photometrischen Information gebildet werden. 

14. Verfahren nach Anspruch 1 oder 6 oder 13, bei dem Regionen in der 
photometrischen Information mit Hilfe der geometrischen Information gebildet 
werden (51a,51b,51c,51d). 

15. Verfahren nach Anspruch 1 oder 6, bei dem die Informationen geometrische 
und photometrische Meliwerte (Bilddaten) des zu prufenden Gegenstandes 
sind. 

16. Verfahren nach Anspruch 1 , bei dem nach der Vorbereitung der Bilddaten eine 
Prufung (54) durch eine Methode der Oberflachenanalyse erfolgt. 

17. Verfahren nach Anspruch 5, wobei die Geometrieinformation und die 
photometrische Information in einem festen Bezug steht und durch eine 
Umrechnung zu einer pixelgenauen Deckungsgleichheit gebracht wird. 
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18. Verfahren nach Anspruch 1, wobei die photometrische Information ein 
Schwarzweifi- oder Farb-Bild der ersten Oberflache (3) ist. 

19. Verfahren nach Anspruch 1 und 5, bei dem nach der Vorbereitung der 
Bilddaten eine Prufung (54) durch eine Methode der Formanalyse erfolgt. 

s 20. Verfahren nach Anspruch 16, bei dem nach der Vorbereitung der Bilddaten 
eine Prufung (54) durch eine Texturanalyse erfolgt. 
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21. Verfahren zur Bearbeitung von Bilddaten eines automatisiert zu prufenden 
Objekts (20), das mehrere Regionen (1,2,3,4) aufweist, 

umfassend folgende Verfahrensschritte: 

(a) Aufzeichnen von Bilddaten zumindest eines Ausschnitts des Objekts (20) 
uber zumindest eine erste optische Sensoranordnung (A,B;B1,A), wobei 
zumindest eine der Regionen (3) des Prufobjektes zumindest eine nicht 
ausgerichtete Oberflache besitzt, deren Erstreckung nicht im wesentlichen 
senkrecht zu einer optischen Achse (100) der Sensoranordnung 
ausgerichtet verlauft; 

(b) Durchfuhren einer lokalen Filterung der Bilddaten innerhalb der einen 
Oberflache der zumindest einen Region (3) in einem im wesentlichen 
gleichmaliigen Raster (21) durch Bildung einer Vielzahl von gegenuber 
der Oberflache kleineren Rasterbereichen (30,31,33) in der Oberflache 
bzw. den Bilddaten der Oberflache, wobei eine Kontrastbeeinflussung auf 
der Oberflache der Region (3) so erfolgt, dafi 

zwei Referenzparameter als ein erster maximaler und ein erster 
minimaler Kontrastwert (g maxr , g mlnr ) fur die Rasterbereiche der 
Oberflache gleich bleiben; 

in jedem einzelnen der Rasterbereiche (30,31 ,33) der Oberflache 
mehrere Kontrastwerte vorliegen und gesondert ein zweiter 
maximaler und ein zweiter minimaler Kontrastwert (g^so, 9min3o) aus 
den Kontrastwerten eines Rasterbereiches (30) fur diesen 
Rasterbereich bestimmt wird; 

ein Verstarkungsfaktor (f 30 ) aus den vier vorgenannten 
Kontrastwerten fur den Rasterbereich (30) errechnet wird, aus dem 
die zweiten Kontrastwerte stammen und mit diesem Faktor die 
mehreren Kontrastwerte (Helligkeitswerte) dieses 
Rasterbereichs (30) beeinflufit werden; 
zur entzerrenden Bearbeitung der Bilddaten der nicht ausgerichteten 
Oberflache und Vorbereitung fur eine Bearbeitung mit einer Methode der 
Oberflachenanalyse. 

22. Verfahren nach Anspruch 21 , wobei eine Helligkeitskorrektur vor oder nach der 
Kontrastbeeinflussung uber die gesamten Bilddaten des im Bild abgebildeten 
Ausschnitts des Prufobjektes (20) erfolgt, unabhangig von den 

Regionen (1,2,3,4) des Prufobjektes und unabhangig von der lokalen Filterung 
der Oberflache mit den einzelnen Rasterbereichen (30,31 ,33). 
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23. Verfahren nach Anspruch 21 , wobei zumindest eine Oberflache des 
Prufobjektes (20) 

(i) in sich gekrummt verlauft oder mehrere Oberflachen zusammen eine 
dreidimensionale Begrenzung eines Abschnitts des zu prufenden 
Objektes darstellen; 

oder 

(ii) eine plane (ebene) Oberflache aufweist, die nicht im wesentlichen 
senkrecht zur optischen Achse (100) der Sensoranordnung ausgerichtet 
ist. 

24. Verfahren zur Bearbeitung von Bilddaten eines Bildes einer automatisiert zu 
prufenden Objektes (20), das mehrere Regionen (1,2,3,4) aufweist, 
umfassend folgende Verfahrensschritte: 

(a) Aufeeichnen von Bilddaten des Prufobjektes (20) uber zumindest eine 
erste optische Sensoranordnung (A,B1) als ein Ausgangsbild, wobei 
zumindest eine der Regionen (3) des Prufobjektes zumindest eine 
Oberflache besitzt, deren Erstreckung nicht im wesentlichen senkrecht zu 
einer optischen Achse (100) der Sensoranordnung (A) ausgerichtet 
verlauft; 

(b) Herstellen einer im wesentlichen gleichmassigen Grundhelligkeit uber die 
aufgezeichneten Bilddaten des Ausgangsbildes zur Bildung eines 
bearbeiteten Bildes, durch eine Differenzbildung zwischen dem 
Ausgangsbild und einem - nach einem Tiefpassfiltern des Ausgangsbilds 
entstehenden - konturenschwacheren Hilfsbild; 

zur Bearbeitung der Bilddaten der nicht ausgerichteten Oberflache und 
Vorbereitung fur eine Bearbeitung mit einem Verfahren der 
Oberflachenanalyse. 

25. Verfahren nach Anspruch 24, mit Anwenden einer Kontrastbeeinflussung nach 
einem der Anspruche 21 bis 23, zumindest in einer Region (1;1*,3,3*) des 
Bildes. 

26. Verfahren nach Anspruch 24, mit Addition eines festen Intensitatswertes auf 
das und uber ein als bearbeitetes Bild entstehendes Differenzbild. 
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27. Verfahren zur Bearbeitung von Bilddaten eines Bildes eines automatisiert zu 
priifenden Objekts (20), das mehrere Regionen (1 ,2,3,4) aufweist, 
umfassend folgende Verfahrensschritte: 

(a) Aufzeichnen von Bilddaten zumindest eines Ausschnitts des Objekts (20) 
uber zumindest einen ersten optischen Sensor (A), wobei zumindest eine 
der Regionen (3) des Prufobjektes zumindest eine nicht ausgerichtete 
Oberflache besitzt, deren Erstreckung nicht im wesentlichen senkrecht zu 
einer optischen Achse (100) des Sensors (A) ausgerichtet verlauft; 

(b) Durchfiihren einer lokalen Filterung der Bilddaten innerhalb der einen 
Oberflache der zumindest einen Region (3) in einem im wesentlichen 
gleichmafiigen Raster (21) durch Bildung einer Vielzahl von gegenuber 
der Oberflache kleineren Rasterbereichen (30,31,33) in der Oberflache 
bzw. den Bilddaten des Bildes der Oberflache, wobei eine 
Kontrastbeeinflussung auf der Oberflache der Region (3) so erfolgt, dad 

jeweils ein Rasterbereich (30) fur sich und gesondert in seinem 
Kontrast verandert wird (f 30 ), insbesondere hinsichtlich der den 
Kontrast ergebenden Bildpunkte in dem Rasterbereich (30). 

28. Verfahren nach Anspruch 27, wobei fur jeweils einen Rasterbereich (30) ein fur 
ihn geltender Faktor berechnet wird (f^), zur Kontrastveranderung in diesem 
Rasterbereich. 

29. Verfahren nach Anspruch 28, wobei die Veranderung eine Multiplikation von 
Bildpunkten im Rasterbereich mit dem Faktor (f^) ist. 

30. Verfahren nach Anspruch 28, wobei die Kontrastveranderung in einem 
Rasterbereich (31) nicht erfolgt, wenn ein furdiesen Bereich (31) berechneter 
Veranderungsfaktor (f 31 ) kleiner oder im wesentlichen gleich 1 (Eins) ist. 

31 . Verfahren nach Anspruch 21 , 24 oder 27, wobei die Kontrastveranderung im 
wesentlichen fur jeden Rasterbereich auf der Oberflache eigenstandig erfolgt. 

32. Verfahren nach Anspruch 21, wobei die lokale Filterung eine Vorgabe eines 
gleichmafcigen Rasters mit im wesentlichen gleichen Rasterflachenelementen 
als Rasterbereiche (30,31) auf der Oberflache ist, ausgenommen die 
Randbereiche der Oberflache. 
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33. Verfahren nach Anspruch 29, wobei der Faktor (f 30 ) so aufgebaut ist, daft in 
einem Rasterbereich mit geringem Kontrast alle dort befindlichen Bildpunkte 
eine Kontrasterhdhung erfahren. 

5 34. Verfahren nach Anspruch 29, wobei der Kontrast jedes Bildpunktes in einem 
jeweiligen Rasterbereich (30) im wesentlichen gemafi y = f-x+a verandert wird, 
wobei 

f der Faktor (f^) fur den jeweiligen Rasterbereich (30), 
y die Helligkeit nach der Bearbeitung, 
io x die Helligkeit vor der Bearbeitung, 

a eine Konstante ist. 
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(54) Bezeichnung: BILDBEARBEITUNG ZUR VORBERETTUNG EINER TEXTURNALYSE 



(57) Abstract: The invention relates to a method 
for preparing an automatic, contactless and 
non-destructive testing of surfaces (1, 2, 3, 4; 1*, 
3*) of an object to be tested, whereby said surfaces 
are not perpendicularly aligned with regard to an 
optical axis (100). The inventive method uses at 
least one sensor array (A, B; A, Bl; Aj) in order to 
extract, from at least one first relative position of 
the sensor array and of the object (20) to be tested, 
an item of photometric information (Figure 5a) 
concerning a first surface (3) located on the object 
(20) to be tested and of a corresponding item of 
geometric information (Figure 5b) also concerning 
said surface (3). The method consists of the 
following steps: (a) recording image data of at least 
one section of the object (20) using at least one 
first optical sensor array (A, B; Bl, A), whereby 
at least one of the regions (3) of the test object 
comprises at least one unaligned surface whose 
span extends in a manner which is not substantially 
perpendicular to an optical axis (100) of the sensor 
array, and; (b) executing a local filtering of image 
data within the one surface of at least one region 
(3) in an essentially uniform raster (21) by forming 
a multitude of raster areas (30, 31, 33) in the 
surface or in the image data of the surface which 
are smaller than the surface. 
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(57) Zusammenfassung: Die Erfindung betrifft ein Verfahren zur Vorbereitung einer automatischen, beriihrungslosen und zersto- 
rungsfreien Priifung von nicht senkrecht zu einer optischen Achse (100) ausgerichteten Oberflachen (1, 2, 3, 4; 1*, 3*) eines zu 
prufenden Gegenstandes mittels zumindest einer Sensoranordnung (A, B; A, Bl; Ad zur Gewinnung einer photometrischen In- 
formation (Figur 5a) einer ersten Oberflache (3) und einer dazu korrespondierenden geometrischen Information (Figur 5b) dieser 
Oberflache (3) an dem zu prufenden Gegenstand (20) aus zumindest einer ersten Relativposition von Sensoranordnung und zu prii- 
fendem Gegenstand (20). Das Verfahren umfaBt dabei mehrere Verfahrensschritte: (a) Aufzeichnen von Bilddaten zumindst eines 
Ausschnitts des Objekts (20) uber zumindest eine erste optische Sensoranordnung (A, B; B 1 , A), wobei zumindest eine der Regionen 
(3) des Priifobjektes zumindest eine nicht ausgerichtete Oberflache besitzt, deren Erstreckung nicht im wesentlichen senkrecht zu 
einer optischen Achse (100) der Sensoranordnung ausgerichtet verlauft; und (b) Durchfiihren einer lokalen Filterung der Bilddaten 
innerhalb der einen Oberflache der zumindest einen Region (3) in einem im wesentlichen gleichmaBigen Raster (21) durch Bildung 
einer Vielzahl von gegenuber der Oberflache kleineren Rasterbereichen (30, 31, 33) in der Oberflache bzw. den Bilddaten der Ober- 
flache. 
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17 December 1997 (1997-12-17) 

page 5, line 10 - line 41; claims 1-8 


21,24,27 
25,31,32 


Y 
A 


US 5 805 721 A (VUYLSTEKE PIETER PAUL ET 
AL) 8 September 1998 (1998-09-08) 
column 3, line 54 -column 5, line 50 


24,27 
21,25,31 


A 


US 5 185 812 A (YAMASHITA KYOJI ET AL) 
9 February 1993 (1993-02-09) 
column 2, line 23 -column 3, line 31 


21,24,27 


A 


US 5 594 767 A (HSIEH JIANG) 
14 January 1997 (1997-01-14) 
column 4, line 34 - line 46 


21,27 


P,A 


US 6 055 340 A (NAGAO KIMITOSHI) 

25 April 2000 (2000-04-25) 

see also JP10243238 and JP10243239 

published 11.09.1998 

column 9, line 48 -column 12, line 34 


21,24,27 
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INTERNATIONAL SEARCH REPORT 



International application No. 

PCT/DE 00/01228 



Box 1 Observations where certain claims were found unsearchable (Continuation of item 1 of first sheet) 



This international search report has not been established in respect of certain claims under Article 1 7(2)(a) for the following reasons: 
1. PH Claims Nos.: 

' 1 because they relate to subject matter not required to be searched by this Authority, namely: 



2. 



□ 



Claims Nos.: 

because they relate to parts of the international application that do not comply with the prescribed requirements to such 
an extent that no meaningful international search can be carried out, specifically: 



3. I I Claims Nos.: 

because they are dependent claims and are not drafted in accordance with the second and third sentences of Rule 6.4(a). 



Box II Observations where unity of invention is lacking (Continuation of item 2 of first sheet) 



This International Searching Authority found multiple inventions in this international application, as follows: 

see supplemental sheet 



1 . [ y [ As all required additional search fees were timely paid by the applicant, this international search report covers all 

searchable claims . 

2. As all searchable claims could be searched without effort justifying an additional fee, this Authority did not invite payment 
of any additional fee. 

3. f 1 As only some of the required additional search fees were timely paid by the applicant, this international search report 
covers only those claims for which fees were paid, specifically claims Nos.: 



4. I I No required additional search fees were timely paid by the applicant. Consequently, this international search report is 
' ' restricted to the invention first mentioned in the claims; it is covered bv claims Nos.: 



Remark on Protest 1 | The additional search fees were accompanied by the applicant's protest. 

| y | No protest accompanied the payment of additional search fees. 
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INTERNATIONAL SEARCH REPORT 



International application No. 

PCT/DE 00/01228 



The International Searching Authority has found that this international application contains 
multiple inventions, as follows: 

1. Claims Nos. 1-20 

Method for preparing a. . . test 

a) of surfaces, which are not perpendicularly aligned with regard to an optical axis, of 
an object to be tested; 

b) using at least one sensor array for extracting an item of photometric information 
concerning a first surface and extracting a corresponding item of geometric information 
also concerning said surface. . . 

2. Claims Nos. 21-23,27-34 

Method for processing image data of an. . . object, which has a number of regions, 
comprising the following steps: 

a) See step a) of the method depicted in the first invention; and 

b) executing a local filtering of the image data within the one surface of the at least one 
region in an essentially uniform raster by forming a multitude of raster areas in the 
surface which are smaller than the surface... 

3. Claims Nos. 24-26,31 

Method for processing image data of an... object, which has a number of regions, 
comprising the following steps: 

a) See step a) of the method depicted in the first invention; and 

b) producing an essentially uniform background brightness over the displayed image 
data of the output image for forming a processed image, by subtracting the output image 
from a weaker contour auxiliary image, which is produced after subjecting the output 
image to a low-pass filtering. 
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INTERNATIONALER RECHERCHENBERICHT 



A. KLASSIR 

V K 7 



<NG DES ANMELDUNGSGEGENSTANDES 

^N21/88 



Inter snate* Aktonaaiehan 

PCT/DE 00/01228 



G01N21/95 G01B11/24 G06T7/00 



N^cii der Internationa ten PalertMassifflcation (IPK) Oder nach der nationalen Klassifikation und derlPK 



B. RECHERCH1ERTE GEBIETE 



Recherchierter Mindestprufstoff (Klassffikationssystem und Klassifikalionssymbole ) 

IPK 7 G01N G01B G06T 



Recherchierle aber nicht zum Mindestprufstoff gehorende Veroffentlichungen, sowe* diese unter die recherchierten Gebiete fallen 



Wan rend der intemationaJen Recherche konsultierte elektronische Datenbank (Name der Datenbank und evtl. verwendete Suchbegriffe) 

EPO-Internal, PAJ, WPI Data 



C. ALS WESENTLICH ANGESEHENE UNTERLAGEN 



Kategone 0 



Bezeichnung der Veroffentlichung, sowe* erfordertich unter Angabe der in Betracht kommertden Teile 



Betr. Anspruch Nr. 



Y 
A 



DE 197 39 250 A (FRAUNHOFER GES FORSCHUNG) 

26. Marz 1998 (1998-03-26) 

in der Anmeldung erwahnt 

Spalte 1, Zelle 3-36 

Spalte 3, Zeile 49 -Spalte 4, Zelle 18 

Spalte 4, Zeile 63 -Spalte 5, Zelle 47; 

Abbi ldungen 1-3 

JP 01 277743 A ( YASUNAGA : KK ; OTHERS : 01) 
8. November 1989 (1989-11-08) 
Zusammenfassung 

US 5 379 347 A (KAT0 N0RIHIDE ET AL) 
3. Januar 1995 (1995-01-03) 
Spalte 6, Zeile 7 -Spalte 8, Zeile 25 
Spalte 9, Zelle 51 -Spalte 12, Zeile 53; 
Abb1 ldungen 2-8,12-15 

-/- 



1-4 



21,24,27 
5,13,14 



1-5 



1-5 



Ql 



V I We*ere Verdffentllchungen sind der Fortsetzung von Feld C zu 
entnehmen 



ID 



Sjehe Anhang Patentfamflie 



° Besondere Kalegorien von angegebenen Veroffentlichungen 

"A" VerofTenttichung, die den aJIgemeinen Stand der Technik deflnlert, 
aber nicht ate besonders bedeutsam anzusehen ist 

'E" aJteres Dokument, das jedoch erst am oder nach dem tntemattonaien 
Anmeldedatum veroffentlicht worden ist 

*L" VerorTentlichung, die gee >g net ist, einen Priontatsanspruch zweifelhaft er- 
scheinen zu lassen, oder durch die das Veroffentlichungsdatum einer 
anderen im Recherchen benefit genannten VeroffentBchung belegt werden 
soli oder die aus einem anderen besonderen Grund angegeben ist (wie 
ausgefuhrt) 

"O" Veroffentlichung, die sich auf eine mQndUche Offenbarung, 

eine Benutzung, eine Aussie Hung oder andere MaBnahmen bezieht 
'P* Veroffentfichung, die vor dem Intemaiionaien Anmeldedatum, aber nach 
dem beanspruchten Prioritatsdatum veroffentlicht worden ist 



1* Spatere Veroffentlichung, die nach dem intemaiionaien Anmeldedatum 
oder dem Prioritatsdatum veroffentlicht worden 1st und met der 
Anmeldung nicht kolfidiert, sondem nur zum Verstandnis des der 
Ertlndung zugrundeliegenden Prinzips oder der ihr zugrundeBegenden 
Theorie angegeben ist 

"X" Veroffentfichung von besonderer Bedeutung; cfie beanspruchte Erfindung 
kann allein aufgrund dieser VeroffentSchung nicht ais neu Oder auf 
erfindenscher TStkjkeit beruhend betrachtet werden 

•Y" Veroffentfichung von besonderer Bedeutung; die beanspruchte Erfindung 
kann nicht als auf erfinde rise her Tatkjkeit beruhend betrachtet 
werden, wenn die Veroffentfichung mi etner oder mehreren anderen 
Veroffentlichungen dieser Kategone in Verbindung gebracht wlrd und 
diese Verbindung fur einen Fachmann naheiiegend ist 

Veroffentlichung, die Mttgfed derseiben Patentfamilie 1st 



Datum des Abschlusses der Intemaiionaien Recherche 



30, November 2000 



Absendedatum des intemationaJen Recherchenberichts 

1 12. 00 



Name und Postanschrtft der Intemaiionaien Recherchenbehdrde 

Europaisches Paten tamt, P.B. 5818 Palentlaan 2 
NIL - 2280 HV Rijswijk 
Tet (+31-70) 340-2040, Tx. 31 651 epo nl. 
Fax (+31-70) 340-3016 
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I NTERN ATION ALER RECHERCHENBERICHT 



Inte onates AktenzeJchen 

PCT/DE 00/01228 



C(Fortsctrung) ALS WESEKTUCH ANGESEHENE UNTERLAGEN 


Kategorie* 


Bezeichnung der Veroffentbchurtg, soweK ertordertich untor Angabe der in Betracftt kommenden Telle 


Betr. Anspructi Nr. 


Y 


WO 98 44315 A (HAGA KAZUMI ;SAKAI M0TOSHI 

T^HTGIIPH YfKHTHTPO f.TPV NFUPPFAT^ 

8. Oktober 1998 (1998-10-08) 

Spalte 4, Zelle 57 -Spalte 6, Zelle 48 

Spalte 8, Zeile 13 - Zelle 40; Abbildungen 

1-5 

(2000-05-17) 


1 


Y 


DE 43 13 258 A (BEIERSD0RF AG) 

97 ftk+nher 1QQA (TOO A— in— 77^ 

Selte 6, Zelle 66 -Seite 9, Zelle 7; 
Abb1 ldung 1 


1 


A 


US 5 438 525 A (SHIMBARA Y0SHIMA) 

1 Aumict 1QQR ( 1 QQt;— Oft— fll 1 

Spalte 7, Zeile 55 -Spalte 9, Zeile 12 


l 


A 


EP 0 456 126 A (MASSEN ROBERT) 

1 ^ Nnvomhor 1QQ1 1 1 QQ1— 1 1 — 1 1 S 

Spalte 11, Zeile 22 -Spalte 12, Zeile 24; 
Abbildungen 3-6 


1 


A 


JP 10 300446 A (NISSAN MOTOR CO LTD) 
13. November 1998 (1998-11-13) 

lw 5 ajninen t as s uny 


1,11 


Y 
A 


US 4 825 297 A (FUCHSBERGER HERMANN ET 
AL) 25. April 1989 (1989-04-25) 
Spalte 1, Zelle 8 - Zelle 28 
Spalte 2, Zelle 15 -Spalte 3, Zelle 4 
Spalte 5, Zeile 15 -Spalte 6, Zeile 56 


21,24,27 
25,28,29 


Y 
A 


EP 0 813 336 A (FUJI PHOTO FILM CO LTD) 

17 n£i7omKQr 1 OQ7 ( 1 QQ7— 1 9—1 7 ^ 

i/. uezeiuDer ivy/ i^iyy/— i^— ±/ j 

Seite 5, Zelle 10 - Zeile 41; Anspruche 

1-8 


21,24,27 
25,31,32 


v 
i 

A 


HQ £ ftOR 791 A fl/IIYI cTr^r ptctcp paiii ft 

AL) 8. September 1998 (1998-09-08) 
Spalte 3, Zeile 54 -Spalte 5, Zeile 50 


OA 97 

21,25,31 


A 


IK C IOC QIO A f*VAMACUTTA ^VH IT CT Al ^ 
Uo D loo olC A VTArlAonllA nTUUJ. Li ML J 

9. Februar 1993 (1993-02-09) 

Spalte 2, Zelle 23 -Spalte 3, Zeile 31 


91 OA 97 
CI 9 CH , CI 


A 


US 5 594 767 A (HSIEH JIANG) 
14. Januar 1997 (1997-01-14) 
Spalte 4, Zelle 34 - Zeile 46 


21,27 


P,A 


US 6 055 340 A (NAGAO KIMITOSHI) 
25. April 2000 (2000-04-25) 
see also JP10243238 and JP10243239 
published 11.09.1998 

Spalte 9, Zelle 48 -Spalte 12, Zeile 34 


21,24,27 
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INTERNATIONALER RECHERCHENBERICHT 



rationales Aktenzeichen 

PCT/DE 00/01228 



Feld I Bemerkungen zu den Anspruchen, die sich aJs nicht recherchierbar erwiesen haben (Fortsetzung von Punkt 2 auf Blatt 1) 



GemaB Artikel 17(2)a) wurde aus folgenden Grunden fur bestimmte Anspruche kein Recherchenbericht erstellt: 
1. | | Anspruche Nr. 

weil ste sich auf Gegenstande beziehen, zu deren Recherche die Behcrde nicht verpflichtet ist, namltch 



2. I | Anspruche Nr. 

weil sie sich auf Teile der tntemationalen Anmeldung beziehen, cfie den vorgeschriebenen Anforderungen so wenig entsprechen 
dafc eine sinnvolie Internationale Recherche nicht durchgefuhrt werden kann, namlich 



3. lJ Anspruche Nr. 

weil es sich dabei um abhangige Anspruche handelt, die nicht entsprechend Satz 2 und 3 der Regei 6.4 a) abgefaGt sind. 



Feld II Bemerkungen bei mangelnder EinheitJichkert der Erfindung (Fortsetzung von Punkt 3 auf Blatt 1) 



Die Internationale Recberchenbehdrde hat festgestelrt, daB diese Internationale Anmeldung mehrere Erfindungen enthalt 



slehe Zusatzblatt 



1. Fy| Da der Anmelder aile erforderiichen zusatzlichen Recherchengebuhren rechtzeitig entrichtet hat, erstreckt sich cfieser 
La " J Internationale Recherchenbericht auf aile recherchierbaren Anspruche. 

2. | J 03 Wr 31,6 recherchierbaren Anspruche die Recherche ohne einen Arbeitsaufwand durchgefuhrt werden konnte, der eine 
1 — 1 zusatzliche Recherchengebuhr gerechtfertigt hatte, hat die Beh6rde nicht zur Zahlung einer solchen Gebuhr aufgefordert 



3- | | 03 der Anmelder nur einige der erforderiichen zusatzlichen Recherchengebuhren rechtzeitig entrichtet hat, erstreckt sich dieser 
— intemationale Recherchenbericht nur auf die Anspruche, fur die Gebuhren entrichtet worden sind, namlich auf die 
Anspruche Nr. 



4. 1 | Der Anmelder hat die erforderiichen zusatzlichen Recherchengebuhren nicht rechtzeitig entrichtet Der Intemationale Recher- 
chenbericht beschrankt sich daher auf die in den Anspruchen zuerst erwahnte Erfindung; diese 1st In folgenden Anspruchen er- 
faflt: 



Bemerkungen hinsJchtiich eines Wtderspruchs | | Die zusatzlfchen Gebuhren wurden vom Anmelder unter Widerspruch gezahlt 

| X | Die Zahlung zusatzficher Recherchengebuhren erfolgte ohne Widerspnjch. 
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WEfTERE AN GAB EN PCT/ISA/ 210 



Die internationale Recherchenbehorde hat festgestellt, da8 diese 
internationale Anmeldung mehrere (Gruppen von) Erfindungen enthalt, 
namlich: 

1. Anspruche: 1-20 

Verfahren zur Vorbereitung einer. . .Priifung 

a) von nicht senkrecht zu einer optischen Achse 
ausgerichteten Oberflachen eines zu prufenden Gegenstandes 

b) mittels zumindest einer Sensoranordnung zur Gewinnung 
einer photometri schen Information einer ersten Oberflache 
und einer dazu korrespondierenden geometri schen Information 
di eser Oberflache. . . 



2. Anspruche: 21-23,27-34 

Verfahren zur Bearbeitung von Bilddaten eines. .Objektes, das 
mehrere Regionen aufweist, umfassend folgende 
Verf ahrens schri tte : 

a) siehe in etwa Verfahrensschri tt a) der ersten Erfindung; 
und 

b) Durchfuhren eine lokalen Filterung der Bilddaten 
innerhalb der einen Oberflache der zumindest einen Region in 
einem im wesent lichen gleichmassigen Raster durch Bildung 
einer Vielzahl von gegenuber der Oberflache kleineren 
Rasterbereichen in der Oberflache... 



3. Anspruche: 24-26,31 

Verfahren zur Bearbeitung von Bilddaten eines. .Objektes, das 
mehrere Regionen aufweist, umfassend folgende 
Verf ahrensschri tte: 

a) siehe in etwa Verf ahrens schri tt a) der ersten Erfindung; 
und 

b) Herstellen einer im wesentlichen gleichmassigen 
Grundhelligkeit uber die aufgezeigten Biddaten des 
Ausgangsbildes zur Bildung eines bearbeiteten Bildes, durch 
eine Differenzbi ldung zwi schen dem Ausgangsbild und einem - 
nach einem Tiefpassf iltern des Ausgangsbilds entstehenden - 
konturenschwacheren Hilfsbild. 
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Wichtige Mitteilung 



Regel 40 PCT wurde mit Wirkung zum 1. April 2005 geandert. Fur allgemeine Information 
zum Widerspruchsverfahren nach dem PCT siehe ABI. EPA 3/2005, Seiten 226/227. 



1. Wie in der Vergangenheit konnen zusatzliche Gebuhren unter Widerspruch gezahlt 
werden, d.h. daB dem Widerspruch eine Begrundung des Inhalts, daB die 
internationale Anmeldung das Erfordernis der Einheitlichkeit der Erfindung erfulle 
oder daB der Betrag der geforderten zusatzlichen Gebuhr uberhoht sei, beizufugen 
ist, gemaB der geanderten Regel 40.2 c) PCT. 

2. Obwohl keine Verpflichtung mehr dazu besteht, wird das EPA vor der Prufung des 
Widerspruchs durch die Beschwerdekammer die Aufforderung zur Zahlung 
zusatzlicher Gebuhren einer fur den Anmelder kostenlosen internen Uberprufung 
unterwerfen. Das Ergebnis dieser Uberprufung wird dem Anmelder mitgeteilt 

3. Die Gebuhr fur die Prufung des Widerspruchs (Regel 40.2 e) PCT) ist innerhalb 
eines Monats nach dem Datum der Aufforderung zur Zahlung zusatzlicher Gebuhren 
(Regel 40.1 iii) PCT) zu zahlen. Um es dem Anmelder jedoch zu ermoglichen, das 
Ergebnis der internen Uberprufung zu berucksichtigen, kann der Anmelder die 
Widerspruchsgebuhr innerhalb eines Monats nach dem Datum der Mitteilung uber 
das Ergebnis der Uberprufung zahlen. 

4. Falls der Anmelder den Widerspruch nach Berucksichtigung des Ergebnisses der 
Uberprufung aufrechtzuerhalten wunscht, muB er die Widerspuchsgebuhr innerhalb 
eines Monats nach dem Datum der Mitteilung uber das Ergebnis der internen 
Uberprufung zahlen. In diesem Fall wird der Widerspruch der Beschwerdekammer 
ubermittelt. Falls die Beschwerdekammer den Widerspruch als in vollem Umfang 
begrundet befindet, wird die Widerspuchsgebuhr an den Anmelder zuruckgezahlt. 

5. Sollte der Anmelder die Widerspuchsgebuhr bereits vor Ergehen der Mitteilung uber 
das Ergebnis der Uberprufung gezahlt haben, wird der Widerspruch der 
Beschwerdekammer ubermittelt, es sei denn, daB das Ergebnis der Uberprufung 
ist, daB der Widerspruch in vollem Umfang begrundet war oder der Anmelder 
innerhalb eines Monats nach dem Datum der Mitteilung uber das Ergebnis der 
Uberprufung den Widerspruch zurucknimmt. In diesen Fallen wird die 
Widerspuchsgebuhr zuruckerstattet. 
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